# Збудувати "Lawyer GPT" для вашого блогу | МСК2 | Частина | 2: | Установка GPU | МSK4 | CUDA в C |МSK5 |

<!--category-- AI, LLM, CUDA, C#, GPU, AI-Article, mostlylucid.blogllm -->
<datetime class="hidden">2025-11-12T22:45</datetime>

## Введение

Вітаю у частині 2! В [Частина 1](/blog/building-a-lawyer-gpt-for-your-blog-part1), ми запропонували концепцію створення писемного асистента, який використовуватиме ваш блог як базу знань - так само, як юристи використовують LLMs, навчені у юриспруденції, щоб написати документи

> NOTE: Це частина моїх експериментів з штучним інтелектом

**Про мою техніку**: ЯM SK1м, використовуючи NVIDIA RTX AMSC2 (16GB VRAM), AMD Ryzen МSK5 \9950XMska7 і МSK8GB DDRMskai9 RAMMске10 Але вам цього не потрібноMСК11 непотрібноM СК12 Як описано в частині СК13 ви можете використовувати будь-яку NVIDIA GPU з мСК14ГБМСК15 ВRAMМ СК16 або навіть запускати ЦПЗМSК17 тільки МСК18 повільніша, але функціональнаССК19 Ця частина зосереджена на налагодженню ГПУМСК20 але яМШК21 скажу, що ЦП ЗРК22 лише альтернативи, де це важливоСШК23

Ця частина може здатися базовою, якщо ви вже знайомі з [ЦUDA](https://developer.nvidia.com/cuda-toolkit), але повірте мені [cuDNN](https://developer.nvidia.com/cudnn) інсталяції. МиM SK1 робимо це з самого початку

[TOC]

## Чому важливість прискорення GPU

Перед тим, як зануритися в інсталяцію, дозвольте нам зрозуміти, чому ми взагалі потребуємо прискорення GPU

### ЦП проти ЦП для штучного інтелекту

```mermaid
graph LR
    A[AI Workload] --> B{Type?}
    B -->|Matrix Operations| C[GPU: 100x+ faster]
    B -->|Sequential Logic| D[CPU: Better]

    C --> E[Embedding Generation]
    C --> F[LLM Inference]
    C --> G[Vector Search]

    D --> H[Application Logic]
    D --> I[File I/O]

    class C gpu
    class E,F,G aiTasks

    classDef gpu stroke:#333,stroke-width:4px
    classDef aiTasks stroke:#333
```

**Чому GPU домінують для штучного інтелекту**:

1. **Паралелізм** - ГПЗ мають тисячі ядер порівняно з procesorами МSK1 десятки
2. **Операції Matrix** - штучний інтелект - це, в основному, матрица математики
3. **Длина траєкторії пам 'яті** - GPUs рухають дані набагато швидше
4. **Специалізоване обладнання** - Кори тензорів пришвидшують конкретні операції AI

**Справжня-приклад світу** ( на моєму комп 'ютері ): генерування вбудованих компонентів для блогового посту МSK2

- **Процессор (Різен МSK1 МSK2XM SK3**МSK0 ~5 секунд на лист
- **МSK0A4000 M SK2GB)**МSK0 ~0.3 секунд на лист

Це МSK0 16 x швидше , і зростає при обробці сотень постів

**Вдачі на інших ҐПУ** (приблизнеM SK1

- **РTX 4090** МСК0ГБМSK1 Найшвидший, МSK3с на пост
- **РTX 3060** МСК0ГБМSK1 ~0.5с на роботу
- **GTX 1070 Ti** МСК0ГБМSK1 ~0.8с на роботу
- І все ж набагато швидше за CPU!

## Усвідомлення вашого обладнання

Перед тим, як щось заinstalувати, дайте ' зрозуміти, з чим ми працюємо

### Мій графічний процессор: NVIDIA RTX A4000

Це мій конкретний графічний процессор -, професійна картка для робочого місця з МSK1

- **16GB GDDR6 VRAM** - Досить для моделей параметрів
- **6144 Кори ЦUDA** - Мощність паралельної обробки
- **256 Кори Tensor** - Пришвидшені операції з ШІ
- **Мощність обчислення CUDA 8.6** - Важливо для компромісності

### Поширені варіанти GPU

Ось що можуть обробляти різні GPU'

| ГПЗ МSK1 ВRAM МSK2 Макс. розмір моделі | Хороший для M|
|-----|------|----------------|----------|
| RTX МSK1 МSK2 \ 24 ГБ | ♫ ♫ 13B ♫
| RTX 4070 Ti МSK2 МSK3GB | МСК5BMSК6B MSК7 Отож, чудовий вибір СМСК8
МSK0 РТЦ 3060 МSK2 \ \ 12 ГБ | | \ МSK5 | Б ХМSK6 | Бюджет ГМSK7 | дружній ХМSK8 |
| RTX 4060 Ti МSK2 МSK3GB | \7BM SK6B МСК7 Величезна ціна \|
МSK0 А4000 M SK2мин) ♫ ♫ МSK4 ♫ 16 ГБ ♫
МSK0 GTX 1070 Ti MSК2 МСК3ГБ СМСК4 ♫ ♫ СМСК5 ♫ Б СМСк6 ♫ жорсткий ♫ ММСК7 ♫ MМСК8 ♫ Minimalно життєздатний ♫

### Що про Intel/AMD NPUs?

Можливо, ви чули про мікросхеми Intel Core Ultra чи AMD Ryzen AI з вбудованими блоками обробки нейронів **Чи можете ви використовувати їх замість NVIDIA?**

**Коротка відповідь**: Досі не запропоновано для цього випадку використання ( з останнім часом МSK2 але наближається

**Текущий стан (легший МSK1**:

- **DirectML зрілий**: [Пропускний час DirectML](https://onnxruntime.ai/docs/execution-providers/DirectML-ExecutionProvider.html) виконавець вже готовий до виробництва
- **Налагодження підтримки NPU**: Intel's Core Ultra (Meteor LakeM SK3Lunar LakeМSK4 and AMDMSC5s Ryzen AI can run inference via DirectML
- **Ограничення формату моделі**: ЦПи найкраще працюють з моделями ONNX ; Моделі GGUF МSK2 використовувані для LLMs) все ще націлені на CUDAM SK4CPU в першу чергу
- **Продукція LLM**: Для великих мовних моделей, НПУ зараз повільніші за дискретні GPU і часто повільніше за сучасні CPU
- **Найкраще для**: Невеликі моделі , на МSK2наслідування пристрою M SK3 батарея - заsilaні сценарії

**Чому ми досі використовуємо NVIDIA CUDA**:

1. **Зрілість екосистем**: CUDA має 15+ роки оптимізації для LLM
2. **Лалам-Шарп**: Використовує ламуM SK1cpp, яка націлена на CUDA /CPU, а не DirectML МSK4NPU
3. **Результати**: Середній діапазон GPU NVIDIA все ще значно перевершує NPU для нашого obciążenia
4. **Громадська підтримка**: значно більше ресурсів і розв 'язання проблем

**Якщо у вас є CPU з NPU-**:

- Для генерації вбудованого коду (Part МSK1 ви можете використовувати DirectML з Runtime ONNX -, можливо, він працює досить добре
- Для висновку LLM (Part 6), встановіть режим процесора або отримаєте дискретну GPU
- Дивіться на Ламу .cpp DirectML заголовок (експериментальний з ноября МSK2

**На майбутнє**: Неп 'ютери швидко вдосконалюються . На ранній стадії МSK2 вони можуть стати життєздатними для LLM висновків МSK3 особливо для менших моделей M SK4B-3B-параметри MSC6 IntelM SK7 наближається Arrow Lake і AMDMska8 наступний - ген XDNA МСК10 обіцяють значні покращення рівня інтелекту М СК11

Ця серія фокусується на **NVIDIA CUDA** тому що він дає найкращу ефективність сьогодні ,, але концепції архітектури будуть перетворюватися на NPU, коли екосистема підростає!

### Проверьте ваші GPU

Перше, перевірити, що Windows бачить вашу ҐПУ

```bash
# PowerShell
wmic path win32_VideoController get name
```

Ви маєте бачити щось на зразок

```
Name
NVIDIA RTX A4000
```

Або використовуйте панель управління NVIDIA → Системна інформація → Навігація дисплея

### Уявлення про архітектуру

Ось як працює комп 'ютерний стег.

```mermaid
graph TB
    A[Your C# Application] --> B[ONNX Runtime / LLamaSharp]
    B --> C[CUDA Toolkit]
    C --> D[cuDNN Libraries]
    D --> E[NVIDIA Driver]
    E --> F[GPU Hardware]

    G[TensorRT] -.Optional.-> D

    class A,F endpoints
    class C,D,E install

    classDef endpoints stroke:#333,stroke-width:4px
    classDef install stroke:#333,stroke-width:2px

    subgraph "What We'll Install"
    C
    D
    E
    end
```

**Розрив шару**:

- **Драйвер NVIDIA** - Низкий МSK1вимірowy зв 'язок з GPU
- **Набір інструментів CUDA** - API для програмування GPU
- **cuDNN** - Бібліотека Глибоких Нейронних Сетей  оптимізовані ядра МSK2
- **Пропускний час NX / LLamaSharp** - високого рівня ML frameworks
- **Ваша програма** - Наш код CM SK1

## План інсталяції

Тут - це замовлення, ми - установка речей

```mermaid
graph LR
    A[1. NVIDIA Driver] --> B[2. CUDA Toolkit]
    B --> C[3. cuDNN]
    C --> D[4. Verify Install]
    D --> E[5. Test from C#]

    class A,B,C,D,E steps

    classDef steps stroke:#333,stroke-width:2px
```

## Шаг 1: Драйвер NVIDIA

### Проверка поточного драйвера

Відкрийте PowerShell:

```bash
nvidia-smi
```

Ви маєте бачити вихідний код як:

```
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 546.33       Driver Version: 546.33       CUDA Version: 12.3    |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  NVIDIA RTX A4000   WDDM  | 00000000:01:00.0 Off |                  Off |
| 41%   32C    P8    10W / 140W |    345MiB / 16376MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
```

**Інформація про ключ**:

- `Driver Version`: повинно бути 545.xx або нове
- `CUDA Version`: Це версія MAX CUDA, яка підходить дляM SK1 не те, що встановлено
- `Memory-Usage`: В даний момент використана / загальна VRAM

### Обновлюйте драйвер, якщо це необхідно

Якщо `nvidia-smi` не працює, або ваш водій старий

1. Перейти до [Загрузки драйверів NVIDIA](https://www.nvidia.com/Download/index.aspx)

2. Виберите:
   
   - Тип produktu: **RTX/Quadro**
   - Серія produktów: **Серія RTX Axxxx**
   - Продукт: **РTX A4000**
   - Операційна система: **Windows 11** ( або ваша версіяM SK1
   - Тип завантаження: **Драйвер студії** (стабільніше, ніж готовий до гриM SK1

3. Установити і перезапустити

4. Знову перевірити `nvidia-smi`

## Шаг 2: Набір інструментів CUDA

CUDA надає інтерфейс програмування для прискорення GPU.

### Вибір версії

**Критичний**: Нам потрібно [ЦUDA](https://developer.nvidia.com/cuda-toolkit) 12.x для сучасних моделей

- **ЦUDA 12.1+** - Хороший баланс здатності та властивостей
- **Найновіші 12.x** - Проверка здатності до комп 'ютерних бібліотек
- **NOT CUDA 11.x** - Погані характеристики, необхідні для нових моделей

### завантажити & Заinstalувати

1. Перейти до [Архив інструментарію CUDA](https://developer.nvidia.com/cuda-toolkit-archive)
2. Вибрати **Набір інструментів CUDA 12.1** ( або МSK1 якщо ви
3. Виберите: **Windows → xM SK1 → | | 11 \ → | exe | МSK5 | локальний**
4. завантажити (~3GBM SK1

### Установлення

Запустити інсталятор. Коли запропоновано:

```
Installation Type: Custom (Advanced)

Select Components:
✅ CUDA Toolkit
✅ CUDA Documentation
✅ CUDA Samples
✅ CUDA Visual Studio Integration
❌ GeForce Experience (not needed)
❌ NVIDIA Driver (already installed)
```

**Чому Custom?**: Ми не хочемо

### Проходження instalacji

Початковий шлях правильний:

```
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1
```

Але зверніть увагу на це: - ми ' потребуватимемо його для змінних середовищів МSK2

### Установити змінні середовища

Інсталятор зазвичай встановлює ці ,, але перевіряє :

**Проверка в PowerShell**:

```powershell
$env:CUDA_PATH
# Should show: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1

$env:PATH -split ';' | Select-String CUDA
# Should show CUDA bin and libnvvp paths
```

**Якщо бракує, додайте вручну**:

1. Відкрий **Різниця в середовищі**:
   
   - droit-klik `This PC` → Персонали → Заawansowane налаштування системи МSK2 Варіабли середовища

2. Під **Варіабли системи**, перевірити
   
   - `CUDA_PATH` = `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1`
   - `CUDA_PATH_V12_1` = `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1`

3. В `Path` змінна, переконатися, що вони існують
   
   ```
   C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin
   C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\libnvvp
   ```

4. **Знову розпочати свій терминал** щоб зміни вступили в силу

### Перевірити інсталяцію CUDA

```powershell
# Check CUDA compiler
nvcc --version

# Should output:
# nvcc: NVIDIA (R) Cuda compiler driver
# Copyright (c) 2005-2023 NVIDIA Corporation
# Built on Tue_Feb__7_19:32:13_Pacific_Standard_Time_2023
# Cuda compilation tools, release 12.1, V12.1.66
```

```powershell
# Check path resolves
where.exe nvcc
# Should show: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\nvcc.exe
```

## Шаг 3: cuDNN (CUDA Deep Neural Network library)

cuDNN дає оптимізовані рішення для операцій глибокого навчання.

### Версия Compatibility

**Критичний**: [cuDNN](https://developer.nvidia.com/cudnn) version must match CUDA version!

Для **ЦUDA 12.x**, нам потрібно **cuDNN 8.9+** для CUDA 12.x (в момент написання, МSK3 або пізнішеM SK4

### завантажити cuDNN

1. Перейти до [Архив cuDNN](https://developer.nvidia.com/rdp/cudnn-archive)
2. Вам ' потрібне Konto NVIDIA Developer
3. Найти: **Скачайте cuDNN v8.9.7 M SK1Декабрь МSK2десятий МSK3 \2023), для CUDA 12.x**
4. Виберите: **локальний інсталятор для Windows (Zip)**
5. завантажити (~800MBM SK1

### Вихопити та заinstalувати cuDNN

cuDNN - це лише набір файлів, які ви копіюєте в установку CUDA.

**Візьміть ZIP**МSK0 ви ' побачите :

```
cudnn-windows-x86_64-8.9.7.29_cuda12-archive\
    bin\
        cudnn64_8.dll
        cudnn_adv_infer64_8.dll
        cudnn_adv_train64_8.dll
        ... (more DLLs)
    include\
        cudnn.h
        ... (header files)
    lib\
        x64\
            cudnn.lib
            ... (lib files)
```

**Копія файлів до instalacji CUDA**:

```powershell
# Assuming you extracted to Downloads and CUDA is in default location
# Run PowerShell as Administrator

$cudnnPath = "$env:USERPROFILE\Downloads\cudnn-windows-x86_64-8.9.7.29_cuda12-archive"
$cudaPath = "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1"

# Copy DLLs
Copy-Item "$cudnnPath\bin\*.dll" -Destination "$cudaPath\bin\"

# Copy headers
Copy-Item "$cudnnPath\include\*.h" -Destination "$cudaPath\include\"

# Copy libs
Copy-Item "$cudnnPath\lib\x64\*.lib" -Destination "$cudaPath\lib\x64\"
```

**Або зробити це вручну**:

1. Копувати всі файли з `bin\` до `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\`
2. Копувати всі файли з `include\` до `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\include\`
3. Копувати всі файли з `lib\x64\` до `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\lib\x64\`

### Перевірити інсталяцію cuDNN

```powershell
# Check DLLs exist
Test-Path "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn64_8.dll"
# Should return: True

# List all cuDNN DLLs
Get-ChildItem "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn*.dll"
```

## Шаг 4: Полне перевірки

Дозвольте переконатись, що все працює разом

### Проверка обладнання

```powershell
nvidia-smi
```

Потрібно показати GPU без жодних помилок.

### Перевірка ЦUDA

```powershell
nvcc --version
```

Потрібно показати CUDA 12.1 ( чи будь-яку іншу версію, яку ви установили).

### Перевірка системних змінних

```powershell
# All these should return paths
$env:CUDA_PATH
$env:CUDA_PATH_V12_1

# Check PATH includes CUDA bin
$env:PATH -split ';' | Select-String CUDA
```

### Випробовування зразків ЦUDA (Optional but RecommendedM SK1

Набір інструментів CUDA включає в себе прикладні програми. Дозволять'с комп 'ютеризувати і запускати одинM SK2

**Навігати до зразків**:

```powershell
cd "C:\ProgramData\NVIDIA Corporation\CUDA Samples\v12.1"
```

**Знайти прилад**:

```powershell
cd "1_Utilities\deviceQuery"
```

**Створіть його** (забаровує візуальну студіюM SK1

```powershell
# If you have VS 2022
"C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Current\Bin\MSBuild.exe" deviceQuery_vs2022.vcxproj /p:Configuration=Release /p:Platform=x64
```

**Прокрутить його**:

```powershell
.\x64\Release\deviceQuery.exe
```

Ви маєте бачити вихідний код як:

```
CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 1 CUDA Capable device(s)

Device 0: "NVIDIA RTX A4000"
  CUDA Driver Version / Runtime Version          12.3 / 12.1
  CUDA Capability Major/Minor version number:    8.6
  Total amount of global memory:                 16376 MBytes (17174683648 bytes)
  (048) Multiprocessors, (128) CUDA Cores/MP:    6144 CUDA Cores
  GPU Max Clock rate:                            1560 MHz (1.56 GHz)
  Memory Clock rate:                             7001 Mhz
  Memory Bus Width:                              256-bit
  L2 Cache Size:                                 4194304 bytes
  ...
  Result = PASS
```

**Шлях ключів**: `Result = PASS`

Якщо ви бачите це, ваша Ґупі M SK1 CUDA МSK2 пакет cuDNN працює

## Шаг 5: Тестування від CM SK1

Тепер найцікавіше те, що - дозволяє ' використовувати CUDA від C#!

### Створити тестний проект

```bash
mkdir CudaTest
cd CudaTest
dotnet new console -n CudaTest
cd CudaTest
```

### Додайте час запуску ONNX з CUDA

[Пропускний час на NX](https://onnxruntime.ai/) найпростіший спосіб використовувати CUDA з C#.

```bash
dotnet add package Microsoft.ML.OnnxRuntime.Gpu  # Latest version
```

**Чому цей пакет?**

- `Microsoft.ML.OnnxRuntime` Тільки - Процесор
- `Microsoft.ML.OnnxRuntime.Gpu` - Включає підтримку CUDA

### Код тесту: Виявление GPU

Створити `Program.cs`:

```csharp
using Microsoft.ML.OnnxRuntime;
using System;
using System.Linq;

namespace CudaTest
{
    class Program
    {
        static void Main(string[] args)
        {
            Console.WriteLine("=== CUDA Test from C# ===\n");

            // Test 1: Can we create a CUDA execution provider?
            Console.WriteLine("Test 1: CUDA Execution Provider");
            try
            {
                var cudaProviderOptions = new OrtCUDAProviderOptions();
                var sessionOptions = new SessionOptions();
                sessionOptions.AppendExecutionProvider_CUDA(cudaProviderOptions);

                Console.WriteLine("✅ CUDA execution provider created successfully");
                Console.WriteLine($"   Device ID: {cudaProviderOptions.DeviceId}");
            }
            catch (Exception ex)
            {
                Console.WriteLine($"❌ Failed to create CUDA provider: {ex.Message}");
                return;
            }

            // Test 2: Check available providers
            Console.WriteLine("\nTest 2: Available Execution Providers");
            var providers = OrtEnv.Instance().GetAvailableProviders();
            foreach (var provider in providers)
            {
                Console.WriteLine($"   - {provider}");
            }

            if (providers.Contains("CUDAExecutionProvider"))
            {
                Console.WriteLine("✅ CUDA provider is available");
            }
            else
            {
                Console.WriteLine("❌ CUDA provider NOT available");
            }

            // Test 3: Get CUDA device count and info
            Console.WriteLine("\nTest 3: CUDA Device Information");
            try
            {
                // ONNX Runtime doesn't expose deviceQuery directly,
                // but we can test by trying to create a session
                var opts = new SessionOptions();
                opts.AppendExecutionProvider_CUDA(0); // Device 0

                Console.WriteLine("✅ Successfully configured for CUDA device 0");
                Console.WriteLine("   (Full device info requires native CUDA calls)");
            }
            catch (Exception ex)
            {
                Console.WriteLine($"❌ CUDA device configuration failed: {ex.Message}");
            }

            Console.WriteLine("\n=== Test Complete ===");
        }
    }
}
```

**Розрив коду**:

1. **Опції OrtCUDAProvider** - Konfigurує виконання CUDA
   
   - `DeviceId` - Який графічний процессор використовувати для першого графічного процесора 0
   - Можна встановити обмеження пам 'яті, рівень оптимізаціїM SK1 і т.д.

2. **Опції сеансу.AppendExecutionProviderM SK1CUDA()** - Каже ONNX Runtime використовувати GPU
   
   - Якщо це працює, CUDA працює
   - Якщо це не працює, щось в стопці зламано

3. **OrtEnv.Instance().GetAvailableProvidersM SK2** - Список усіх доступних постачальників виконання
   
   - Потрібно включити "CUDAExecutionProvider", якщо все встановлено правильно
   - Також показує "CPUExecutionProvider" як зворотній зв 'язок

### Пройти тест

```bash
dotnet run
```

**Очікуваний результат**:

```
=== CUDA Test from C# ===

Test 1: CUDA Execution Provider
✅ CUDA execution provider created successfully
   Device ID: 0

Test 2: Available Execution Providers
   - CUDAExecutionProvider
   - CPUExecutionProvider
✅ CUDA provider is available

Test 3: CUDA Device Information
✅ Successfully configured for CUDA device 0
   (Full device info requires native CUDA calls)

=== Test Complete ===
```

### Виліковування поширених помилок

#### Error: M SK1DllNotFoundException: Не в змозі загрузити DLL

**Причина**: Runtime ONNX не може знайти CUDA DLLs

**Поправити**:

```powershell
# Make sure CUDA bin is in PATH
$env:PATH += ";C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin"

# Verify cudnn DLL exists
Test-Path "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn64_8.dll"

# Try running again
dotnet run
```

#### Error: M SK1CUDAExecutionProvider not found"

**Причина**: Неправильне використання OnNX Runtime пакету

**Поправити**:

```bash
dotnet remove package Microsoft.ML.OnnxRuntime
dotnet add package Microsoft.ML.OnnxRuntime.Gpu --version 1.16.3
```

#### Ошибка: M SK1 Код помилки CUDA : | | МSK3 \ | ( Версия драйвера CUDA недостатньо

**Причина**: Драйвер надто старий для CUDA

**Поправити**: Обновлюйте драйвер NVIDIA на 545.xx або нове МSK2

## Дальне тестування: Реальна інференція

Давайте зробимо щось реальне. - запустимо крихітну нейронну мережу на GPU vs CPU і порівняємо швидкість

### завантажити тестову модель

Ми використовуватимемо просту модель MNIST для розпізнавання цифр.

```powershell
# Download sample model
Invoke-WebRequest -Uri "https://github.com/onnx/models/raw/main/vision/classification/mnist/model/mnist-8.onnx" -OutFile "mnist.onnx"
```

### Код тесту інференції

Обновляти `Program.cs`:

```csharp
using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;
using System;
using System.Diagnostics;
using System.Linq;

namespace CudaTest
{
    class Program
    {
        static void Main(string[] args)
        {
            Console.WriteLine("=== GPU vs CPU Inference Test ===\n");

            // Create dummy input (28x28 image flattened to 784 floats)
            var inputData = Enumerable.Range(0, 784).Select(i => (float)i / 784).ToArray();
            var tensor = new DenseTensor<float>(inputData, new[] { 1, 1, 28, 28 });
            var inputs = new List<NamedOnnxValue>
            {
                NamedOnnxValue.CreateFromTensor("Input3", tensor)
            };

            // Test 1: CPU Inference
            Console.WriteLine("Test 1: CPU Inference");
            var cpuTime = TestInference(inputs, useCuda: false, iterations: 100);
            Console.WriteLine($"   Average time: {cpuTime:F2}ms\n");

            // Test 2: GPU Inference
            Console.WriteLine("Test 2: GPU Inference");
            var gpuTime = TestInference(inputs, useCuda: true, iterations: 100);
            Console.WriteLine($"   Average time: {gpuTime:F2}ms\n");

            // Compare
            Console.WriteLine("Comparison:");
            Console.WriteLine($"   CPU: {cpuTime:F2}ms");
            Console.WriteLine($"   GPU: {gpuTime:F2}ms");
            Console.WriteLine($"   Speedup: {cpuTime / gpuTime:F2}x faster on GPU");
        }

        static double TestInference(List<NamedOnnxValue> inputs, bool useCuda, int iterations)
        {
            var options = new SessionOptions();

            if (useCuda)
            {
                options.AppendExecutionProvider_CUDA(0);
            }

            using var session = new InferenceSession("mnist.onnx", options);

            // Warmup run (first run is always slower)
            session.Run(inputs);

            // Timed runs
            var sw = Stopwatch.StartNew();

            for (int i = 0; i < iterations; i++)
            {
                using var results = session.Run(inputs);
                // Force evaluation
                var output = results.First().AsEnumerable<float>().ToArray();
            }

            sw.Stop();

            return sw.Elapsed.TotalMilliseconds / iterations;
        }
    }
}
```

**Пояснення коду**:

1. **DenseTensor** - ONNX Runtime ' спосіб репрезентації багатовимірних
   
   - Форма `[1, 1, 28, 28]` МSK0 партія_ розмірM SK2 канали=1, висотаMSC4 ширинаMST5

2. **НазванийOnnxValue** - Об 'єднує тензор з ім' я на вході
   
   - "InputM SK1 - це ім 'я входу в модель MNIST

3. **Вигрівання** - Перший висновок завжди повільніший МSK1навантаження моделіM SK2 оптимізація
   
   - Ми бігаємо один раз перед тим, як налаштувати тайм, щоб отримати точні виміри

4. **Методика тайминга** - Середня зміна над МSK1 для стабільних результатів

### Пройти тест на ефективність

```bash
dotnet run
```

**Очікуваний результат** ( ваші числа будуть відрізнятисьM SK1

```
=== GPU vs CPU Inference Test ===

Test 1: CPU Inference
   Average time: 0.42ms

Test 2: GPU Inference
   Average time: 0.15ms

Comparison:
   CPU: 0.42ms
   GPU: 0.15ms
   Speedup: 2.80x faster on GPU
```

**Чому така маленька швидкість?**

- MNIST - крихітна модель ( тільки 100KB
- Переробка даних на GPU домінує
- Для більших моделей (1GBM SK1 ви ' побачите МSK3x прискорення

### Key Takeaway

Ми - ' - довели, що весь стег працює
✅ Драйвер правильно zainstalowanий
✅ Набір інструментів CUDA доступний
✅ з інтегрованим cuDNN
✅ Runtime знаходить CUDA
✅ C# може запустити GPUM SK2 прискорене виведення

## Усвідомлення ефективності

### Передача пам 'яті

Ось що відбувається під час висновку

```mermaid
sequenceDiagram
    participant App as C# Application
    participant CPU as CPU Memory
    participant GPU as GPU Memory
    participant Compute as GPU Cores

    App->>CPU: Create input tensor
    CPU->>GPU: Transfer input (PCIe)
    Note over GPU: Slow! ~16GB/s
    GPU->>Compute: Execute model
    Note over Compute: Fast! TFLOPS
    Compute->>GPU: Write output
    GPU->>CPU: Transfer output (PCIe)
    Note over GPU: Slow again!
    CPU->>App: Return results
```

**Вправні уроки**:

1. **Обробка пакетів** - Перенести багато входів в один раз для амортизації накладних витрат
2. **Храните дані на GPU** - Операції по ланцюгу, щоб уникнути передачі
3. **Більші моделі отримують більшу користь** - фіксовані витрати на передачу , обчислення масштабування

### Коли використовувати GPU проти CPU

```mermaid
graph TD
    A[Inference Request] --> B{Model Size}
    B -->|< 100MB| C{Batch Size}
    B -->|> 100MB| D[Use GPU]

    C -->|Single Item| E[Use CPU]
    C -->|Batch > 10| D

    D --> F[10-100x Faster]
    E --> G[Lower Latency for Single]

    class D,E choice

    classDef choice stroke:#333,stroke-width:2px
```

**Правило палець**:

- **ҐПУ** - Великих моделей , переробка пакету МSK2 генерація вмонтування
- **Процесор** - Невеликі моделі МSK1 одиниці запитів , затримка

Для нашого блогового редактора:

- **Вбудова** - Batch process МSK1 chunks → GPU
- **Дослідження LLM** - Великий модель МSK1B парами МSK2 → GPU
- **Поиск вектора** - залежить від вибору DB , часто від процесора МSK2 прив 'язане

## Підсумок

Ми МСК0 , Успішно ," МSK1 .

1. ✅ Установлений драйвер NVIDIA
2. ✅ Установлений інструментарій CUDA 12.1
3. ✅ Інтегрований cuDNN 8.9.7
4. ✅ Перевірено з `nvidia-smi` і `nvcc`
5. ✅ Tested GPU access from C# with ONNX Runtime
6. ✅ Порівняння продуктивності з Ran

Наша сфера розробки вже готова для роботи з штучним розумом!

## Що' СледующаяM SK1

В **Частина 3**, миM SK1 зануримося у деталі вбудованих і векторних баз даних :

- Що таке вбудова і як вона дає змогу робити семантичні пошуки?
- Вибір між Qdrant, pgvector, та іншими варіантами
- генерування вбудованих компонентів локально за допомогою Runtime ONNX
- Збереження і пошук мільйонів векторів ефективно
- Збудувати наш перший прототип семантичного пошуку

Ми нарешті почнемо працювати з реальним змістом блогу і побачимо RAG в дії

## Справка про розв 'язання проблем

### Гвидкі команди діагностики

```powershell
# Check GPU
nvidia-smi

# Check CUDA
nvcc --version
where.exe nvcc

# Check cuDNN
Test-Path "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn64_8.dll"

# Check environment
$env:CUDA_PATH
$env:PATH -split ';' | Select-String CUDA

# Test from C#
dotnet run
```

### Поширені проблеми

| Ошибка
|-------|-------|-----|
| `nvidia-smi` не знаходилось | Драйвер не установлен | Установити драйвер NVIDIA МSK2
| `nvcc` не знаходилось | ЦUDA не в PATH | Додайте CUDA-бун до PATH
| Завантаження DLL не спрацювало | бракує cuDNN
| Поставник CUDA не знайдений | Неправильний пакет NuGet МSK2 Використовувати `Microsoft.ML.OnnxRuntime.Gpu` |
| Версия драйвера недостатньо МSK1 Старий драйвер МSK2 Обновлення до 545.xxM SK4 СМК5

### Версия Матрица здатності

| Версия CUDA МSK1 Версія cuDNN МSK2 Пропускний час ONNX | Виmaganі драйвери M|
|--------------|---------------|--------------|-----------------|
МSK0 12.1 ♫ ♫ МSK2 ♫
МSK0 12.3 ♫ ♫ МSK2 ♫
МSK0 11.8 ♫ ♫ МSK2 ♫

## Навігація серії

- [Частина 1: Вprowadzenie МSK1 Архітектура](/blog/building-a-lawyer-gpt-for-your-blog-part1)
- **Частина 2: Установка GPU & CUDA в C#** (this postM SK1
- [Частина 3: Порозуміння вбудованих компонентів МSK1 Вektorні бази даних](/blog/building-a-lawyer-gpt-for-your-blog-part3)
- [Частина 4: Збудування каналу впиту](/blog/building-a-lawyer-gpt-for-your-blog-part4)
- [Частина 5: Windows Client](/blog/building-a-lawyer-gpt-for-your-blog-part5)
- [Частина 6: Локальна інтеграція LLM](/blog/building-a-lawyer-gpt-for-your-blog-part6)
- [Частина 7: генерація контенту МSK1 швидка інженерія](/blog/building-a-lawyer-gpt-for-your-blog-part7)
- [Частина 8: Заawansовані характеристики & Розгортання виробництва](/blog/building-a-lawyer-gpt-for-your-blog-part8)

## Ресурс

- [Документація комплекту інструментів ЦUDA](https://docs.nvidia.com/cuda/)
- [Документація cuDNN](https://docs.nvidia.com/deeplearning/cudnn/api/index.html)
- [Допомічник запуску GPU на комп 'ютері ONNX](https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html)
- [Зона розробників NVIDIA](https://developer.nvidia.com/)

Побачимося [Частина 3](/blog/building-a-lawyer-gpt-for-your-blog-part3), де ми нарешті починаємо будувати семантичний пошуковик