# Zero PII Customer Intelligence - Part 1.1: Generating Sample Data МSK2and Images) Locally

<!--category-- Product, Privacy, LLM, ComfyUI, C# -->
<datetime class="hidden">2025-12-31T20:00</datetime>

В [Частина 1](/blog/zero-pii-customer-intelligence-part1) ми застосовували філософію МСК0 , прозоре сегментування без ПІ, МСК1 [Частина 2](/blog/zero-pii-customer-intelligence-part2) obejmuje профіль сеансу, сигналиM SK1 та визначення сегментів.

Але спершу **як ви можете підтвердити будь-яку з цих речей, не торкаючись реальних даних клієнта?**

Для цієї серії я генерую повний синтетичний набор даних електронної торгівлі локально:

- Katalog з товарами (назвиМSK1 описиM SK2 ярликиMSC3 ціни)
- Анонімні “профіліМSK1 МСК2 особистості МСК3 зацікавлення МСК4 сигналиМСк5
- Зйомки товару ( та портрети профілей МSK1 через ComfyUI
- Опціональний импорт DB, щоб реальна програма могла працювати проти нього

Це один із тих “ це відчувається, як шахрайство МSK1 робочі потоки : ви отримуєте реалістичні вхідні дані M SK3 ви можете їх відтворювати будь-коли

## Чому локальні синтетичні дані такі потужні

Якщо ви будуєте сегментацію, то вам потрібні дані, які

- У вас достатньо варіацій, щоб порушити наївну геризтику
- Безпечно ділитися ( в коді МSK1 тести МSK2 демонстрації )
- Вони повторювані ( так, що ви можете порівняти зміни моделіM SK1

Справжні дані є протилежними.

Синтетичні дані дають вам три суперсили:

1. **швидке повторення**: змінити логіку сегментації , відновити M SK2 перетворити
2. **Ускладнення**: симуляція дивних довгих - поведінок хвоста, які ви бачили в ’ не видно у маленькому наборі даних dev
3. **Тестування правдивості**: ви можете *перевіряти кожен генерований поле* і підтвердити ваші “покажіть мені, чому МSK1 інтерфейс є правдивим МSK2

```mermaid
flowchart LR
    Taxonomy[gadget-taxonomy.json] --> Gen[SampleData generator]
    Gen --> Products[products.json]
    Gen --> Profiles[profiles.json]
    Gen --> Images[images/*]
    Products --> Import[Import into Postgres]
    Profiles --> Import

    style Taxonomy stroke:#1971c2,stroke-width:3px
    style Gen stroke:#1971c2,stroke-width:3px
    style Import stroke:#2f9e44,stroke-width:3px
```

## Набір інструментів ( Що насправді працює)

Генератор живе в `Mostlylucid.SegmentCommerce.SampleData`.

МСК0 навмисно не є МСК1 , Cadre і "”;", а CLI , прагматичне, що спілкується з СМСК4 .

- **Оллама** ( локальний LLM) для структурного генерування JSONM SK2
- **КомфійUI** ( локальна стабильна дифференція ) для фотообробки продукту МSK2 зйомки стилю
- А **taxonomy JSON** що зберігає послідовність виходів. (категорииM SK1 типиМSK2 варіанти МSK3 цінні діапазони ).

Конфигурація підключена так, що її можна керувати за допомогою змінних середовища:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Program.cs
var configuration = new ConfigurationBuilder()
    .SetBasePath(AppContext.BaseDirectory)
    .AddJsonFile("appsettings.json", optional: true)
    .AddEnvironmentVariables("SAMPLEDATA_")
    .Build();
```

## Гнучкий старт

Ви, як правило, запустите три локальні послуги поруч з генератором.

```mermaid
flowchart LR
    CLI[SampleData CLI] --> Ollama["Ollama
    http://localhost:11434"]
    CLI --> Comfy["ComfyUI
    http://localhost:8188"]
    CLI -. optional .-> DB[(Postgres)]

    style CLI stroke:#1971c2,stroke-width:3px
    style Ollama stroke:#1971c2,stroke-width:3px
    style Comfy stroke:#2f9e44,stroke-width:3px
    style DB stroke:#fab005,stroke-width:3px
```

Запуск генератора з репо root:

```bash
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- status
```

Далі генерувати дані:

```bash
# v1 generator: taxonomy + optional Ollama + optional ComfyUI
# Writes ./Output/products.json, ./Output/profiles.json, ./Output/images/...
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- generate --count 20
```

Полезні перемикачі:

```bash
# No LLM calls, taxonomy only
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- generate --no-ollama

# No ComfyUI images
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- generate --no-images

# Write into Postgres (uses configured connection string)
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- generate --db
```

Зверніть увагу: якщо ComfyUI не є’ не доступнийM SK2 генератор vMSC3 повертається до зображень, що закріплюють місцезнаходження `picsum.photos`, таким чином, щоб шлях не був “ повністю відключений МSK2 Якщо ви хочете, щоб Strictly `--no-images`.

## vМСК0 ГенераторМSK1 Продавці МСК2 Продукції MСК3 Klienci МСК4 Закази МСК5 Вбудова

Там також є нове командування генератора (`gen`), що створює більш повний

```bash
# v2 generator
# Writes dataset.json plus sellers/products/customers/orders split files
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- gen --sellers 50 --products 20 --customers 1000
```

Він був організований як багатофазний трубний канал

```mermaid
flowchart LR
    A[Sellers] --> B[Products]
    B --> C[Customers]
    C --> D[Orders]
    D --> E[Embeddings]

    B -. optional .-> I[ComfyUI images]

    style A stroke:#1971c2,stroke-width:3px
    style B stroke:#1971c2,stroke-width:3px
    style C stroke:#1971c2,stroke-width:3px
    style D stroke:#1971c2,stroke-width:3px
    style E stroke:#2f9e44,stroke-width:3px
    style I stroke:#2f9e44,stroke-width:3px
```

І ви можете побачити ці етапи безпосередньо в коді:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/DataGenerator.cs
// 1. Generate Sellers
// 2. Generate Products for each seller
// 3. Generate Customers
// 4. Generate Orders (with fake checkout data via Bogus)
// 5. Generate embeddings for all entities
```

### Вбудовані модулі (Local ONNX, Cached After First RunM SK2

Генератор v2 може обчислювати вбудова, використовуючи модель ONNX. `all-MiniLM-L6-v2`). Коли ви вперше запускаєте його, , він завантажує модель і записує її в папку вихідних даних

Це означає:

- Перший запуск потребує доступу до мережі (сканування моделіM SK1
- Наступні запуски локальні і швидкі
- Якщо ви хочете, щоб “ жодна мережа не працювала `--no-embeddings`

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/EmbeddingService.cs
private const string ModelUrl = "https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/onnx/model.onnx";
private const string VocabUrl = "https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/vocab.txt";

// Download model if not exists
if (!File.Exists(_config.ModelPath))
{
    await DownloadFileAsync(ModelUrl, _config.ModelPath, ct);
}
```

## Як ми виробляємо “LLMM SK1Shaped” Продукцію (JSON тільки МSK4

Про prompt генерації продукту є навмисно жорстким: LLM має повернути тільки JSON , з вбудованим прикладом schema JSON

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/OllamaProductGenerator.cs
return $"""
    You are a product catalog generator for an e-commerce store. Generate {count} unique, realistic product listings for the \"{category.DisplayName}\" category.

    Category description: {category.Description}
    Example products in this category: {category.ExampleProducts}
    Price range: £{category.PriceRange.Min:F2} - £{category.PriceRange.Max:F2}

    For each product, provide:
    1. A compelling product name (realistic brand-style naming)
    2. A detailed description (2-3 sentences, highlighting key features and benefits)
    3. A realistic price within the range
    4. Optional original price if on sale (20-40% higher than current price)
    5. 3-5 relevant tags
    6. Whether it's trending (about 20% should be trending)
    7. Whether it's featured (about 15% should be featured)
    8. An image prompt for AI image generation (detailed, product photography style)
    9. 2-3 colour variants for the product

    IMPORTANT: Respond with ONLY valid JSON, no markdown formatting, no code blocks, no explanations.

    Generate {count} diverse products now:
    """;
```

Це важливо, тому що системи зворотнього потоку ( генерування зображення МSK1 введення МSK2 вбудова ) хочуть структурованих даних *вхідні дані до трубопроводу*, не пишуть прозуM SK1

### Responses LLM: Parse JSON, or Fall Back

LLM - це не компілятори. Навіть з “JSON лишеM SK2 вам все ще потрібно оборонне розшифровування і грайзенний зворотний зв 'язок .

Генератор v2 робить це за допомогою маленького помічника M SK1`LlmService`), що витягує перший `{...}` блокувати і десеріалізувати його:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/LlmService.cs
var jsonStart = response.IndexOf('{');
var jsonEnd = response.LastIndexOf('}');

if (jsonStart >= 0 && jsonEnd > jsonStart)
{
    var jsonStr = response.Substring(jsonStart, jsonEnd - jsonStart + 1);
    return JsonSerializer.Deserialize<T>(jsonStr, new JsonSerializerOptions
    {
        PropertyNameCaseInsensitive = true
    });
}
```

І загальна генерація чітко перевіряє доступність та зниження до детермінативних шаблонів, коли це необхідно:

```mermaid
flowchart LR
    A[EnableLlm=true?] -->|no| F[Fallback templates]
    A -->|yes| B[GET /api/tags]
    B -->|model present| C[LLM JSON prompts]
    B -->|not available| F

    style A stroke:#1971c2,stroke-width:3px
    style C stroke:#2f9e44,stroke-width:3px
    style F stroke:#fab005,stroke-width:3px
```

### До прикладу: Персонали покупців M SK1v2)

Показник для покупців короткий і структурований, тому його можна швидко генерувати за допомогою маленької локальної моделі:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/DataGenerator.cs
var prompt = $$"""
    Generate a shopper persona interested in: {{string.Join(", ", categoryNames)}}.

    Return JSON only:
    {
      "persona": "Brief persona description (e.g. 'Tech enthusiast who values quality')",
      "name": "Realistic first name",
      "bio": "One sentence about their shopping habits",
      "age": 25,
      "shopping_style": "budget|value|premium|luxury",
      "preferred_categories": ["category1", "category2"]
    }
    """;
```

## ComfyUI: Фотографія продукту через API

ComfyUI чудово, тому що він дає вам контрольований канал потоків: (ワークフローиM SK1, а не “денний кінцевий пункт зображення чорної скриньки

Генератор:

1. Завантаження шаблону робочого потоку (`ComfyUI/workflows/product_image.json`)
2. Перетворює про prompt на `CLIPTextEncode`
3. Кільця `/prompt`
4. Вибори `/history/{promptId}`
5. завантажує зображення через `/view?...`

```mermaid
sequenceDiagram
    participant Gen as SampleData
    participant Comfy as ComfyUI

    Gen->>Comfy: POST /prompt (workflow + prompt)
    Comfy-->>Gen: prompt_id
    loop poll
        Gen->>Comfy: GET /history/{prompt_id}
        Comfy-->>Gen: outputs / images
    end
    Gen->>Comfy: GET /view?filename=...&type=output
    Comfy-->>Gen: PNG bytes
```

Вибір комп 'ютерної моделі також закріплений в робочому потокі під час запуску (, тож ви можете замінити контрольні точки без редагування JSON):

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/ComfyUIImageGenerator.cs
TryPatchCheckpoint(workflow, _config.ComfyUICheckpointName ?? "sd_xl_base_1.0.safetensors");
TryPatchRefiner(workflow, _config.ComfyUIRefinerName ?? "sd_xl_refiner_1.0.safetensors");
```

І патчування робочого потоку є навмисно простим і надійним:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/ComfyUIImageGenerator.cs
// Update CLIPTextEncode nodes with our prompt
if (classType == "CLIPTextEncode")
{
    var inputs = nodeObj["inputs"]?.AsObject();
    if (inputs != null && inputs.ContainsKey("text"))
    {
        var currentText = inputs["text"]?.GetValue<string>() ?? "";
        if (!currentText.Contains("bad") && !currentText.Contains("ugly") && !currentText.Contains("deformed"))
        {
            inputs["text"] = prompt;
        }
    }
}

// Update image dimensions
if (classType == "EmptyLatentImage")
{
    var inputs = nodeObj["inputs"]?.AsObject();
    if (inputs != null)
    {
        inputs["width"] = _config.ImageWidth;
        inputs["height"] = _config.ImageHeight;
    }
}
```

## Profiles and Personas (Useful, Not CreepyM SK2

Генератор v1 створює анонімні профілі, а потім заповнює їх особистістю. ( досі немає ПIIM SK2 Ви отримуєте реалістичні дані МSK3 людей МСК4 у формі М СК5 тестування без електронної пошти MСК6 адресів M СК7 чи будь-чого, що ви могли б випадково відправити

В v1, профілі зашифровуються за допомогою хешу в один спосіб.

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/ProfileGenerator.cs
var profileKey = Hash($"fp-{Guid.NewGuid():N}");

private static string Hash(string input)
{
    using var sha = SHA256.Create();
    var bytes = sha.ComputeHash(Encoding.UTF8.GetBytes(input));
    return Convert.ToHexString(bytes).ToLowerInvariant();
}
```

Те, що "’" - це саме той спосіб мислення, який існує в цілій серії. МSK1 , ви можете, МSK2 , не протікати того, чого ніколи не зберігали .

```mermaid
flowchart TB
    Signals["Generated signals
    views/cart/purchase weights"] --> Persona["Persona enrichment
    Ollama JSON-only"]
    Persona --> Portrait[Portrait prompt]
    Portrait --> Comfy[ComfyUI]

    style Signals stroke:#1971c2,stroke-width:3px
    style Persona stroke:#1971c2,stroke-width:3px
    style Comfy stroke:#2f9e44,stroke-width:3px
```

## Validation: Що це дає вам довести

Цей локальний трубопровод потужний, тому що він підтримує *перевірки моделі*, не лише демонстрації

- **Здоров 'я сегментації**: зробити сегменти, які ви обчислюєте МSK1 почуватися МSK2 послідовним, коли ви перевіряєте назви продуктів / знаки та генеровані особистості
- **Пояснення рекомендацій**: робить “ показує мені, чому МSK2 вказує на реальний сигнал, який ви можете перевірити
- **Холодний початок**: якщо ви вимикаєте набір даних і відтворюєте , чи система працює передбачувано МSK2
- **Тестування регресії**: відтворює той самий вид даних і гарантує, що ваші зміни не пошкодять рейтингу

Важлива тонкость - :, що генерує *текст* і *зображення*, ви можете підтвердити весь досвід з продуктом , не тільки назад МSK2 закінчити математику

## Що Next

**[Частина 2](/blog/zero-pii-customer-intelligence-part2)**: Профілеві сеансів , сигнали МSK2 і визначення сегменту M SK3 де ми поєднуємо дані з цього зразка в працюючу сегментацію

**Частина 3** ( прийдешні ): шаблон скриньки для відправлення МSK2 черга обов 'язків, МSK3 і прозорість інтерфейсу

---


*Код генератора: `Mostlylucid.SegmentCommerce.SampleData/`*