Збудувати "Lawyer GPT" для вашого блогу | МСК2 | Частина | 2: | Установка GPU | МSK4 | CUDA в C |МSK5 |
Введение
Вітаю у частині 2! В Частина 1, ми запропонували концепцію створення писемного асистента, який використовуватиме ваш блог як базу знань - так само, як юристи використовують LLMs, навчені у юриспруденції, щоб написати документи
NOTE: Це частина моїх експериментів з штучним інтелектом
Про мою техніку: ЯM SK1м, використовуючи NVIDIA RTX AMSC2 (16GB VRAM), AMD Ryzen МSK5 \9950XMska7 і МSK8GB DDRMskai9 RAMMске10 Але вам цього не потрібноMСК11 непотрібноM СК12 Як описано в частині СК13 ви можете використовувати будь-яку NVIDIA GPU з мСК14ГБМСК15 ВRAMМ СК16 або навіть запускати ЦПЗМSК17 тільки МСК18 повільніша, але функціональнаССК19 Ця частина зосереджена на налагодженню ГПУМСК20 але яМШК21 скажу, що ЦП ЗРК22 лише альтернативи, де це важливоСШК23
Ця частина може здатися базовою, якщо ви вже знайомі з ЦUDA, але повірте мені cuDNN інсталяції. МиM SK1 робимо це з самого початку
Чому важливість прискорення GPU
Перед тим, як зануритися в інсталяцію, дозвольте нам зрозуміти, чому ми взагалі потребуємо прискорення GPU
ЦП проти ЦП для штучного інтелекту
graph LR
A[AI Workload] --> B{Type?}
B -->|Matrix Operations| C[GPU: 100x+ faster]
B -->|Sequential Logic| D[CPU: Better]
C --> E[Embedding Generation]
C --> F[LLM Inference]
C --> G[Vector Search]
D --> H[Application Logic]
D --> I[File I/O]
class C gpu
class E,F,G aiTasks
classDef gpu stroke:#333,stroke-width:4px
classDef aiTasks stroke:#333
Чому GPU домінують для штучного інтелекту:
- Паралелізм - ГПЗ мають тисячі ядер порівняно з procesorами МSK1 десятки
- Операції Matrix - штучний інтелект - це, в основному, матрица математики
- Длина траєкторії пам 'яті - GPUs рухають дані набагато швидше
- Специалізоване обладнання - Кори тензорів пришвидшують конкретні операції AI
Справжня-приклад світу ( на моєму комп 'ютері ): генерування вбудованих компонентів для блогового посту МSK2
- Процессор (Різен МSK1 МSK2XM SK3МSK0 ~5 секунд на лист
- **МSK0A4000 M SK2GB)**МSK0 ~0.3 секунд на лист
Це МSK0 16 x швидше , і зростає при обробці сотень постів
Вдачі на інших ҐПУ (приблизнеM SK1
- РTX 4090 МСК0ГБМSK1 Найшвидший, МSK3с на пост
- РTX 3060 МСК0ГБМSK1 ~0.5с на роботу
- GTX 1070 Ti МСК0ГБМSK1 ~0.8с на роботу
- І все ж набагато швидше за CPU!
Усвідомлення вашого обладнання
Перед тим, як щось заinstalувати, дайте ' зрозуміти, з чим ми працюємо
Мій графічний процессор: NVIDIA RTX A4000
Це мій конкретний графічний процессор -, професійна картка для робочого місця з МSK1
- 16GB GDDR6 VRAM - Досить для моделей параметрів
- 6144 Кори ЦUDA - Мощність паралельної обробки
- 256 Кори Tensor - Пришвидшені операції з ШІ
- Мощність обчислення CUDA 8.6 - Важливо для компромісності
Поширені варіанти GPU
Ось що можуть обробляти різні GPU'
| ГПЗ МSK1 ВRAM МSK2 Макс. розмір моделі | Хороший для M| |-----|------|----------------|----------| | RTX МSK1 МSK2 \ 24 ГБ | ♫ ♫ 13B ♫ | RTX 4070 Ti МSK2 МSK3GB | МСК5BMSК6B MSК7 Отож, чудовий вибір СМСК8 МSK0 РТЦ 3060 МSK2 \ \ 12 ГБ | | \ МSK5 | Б ХМSK6 | Бюджет ГМSK7 | дружній ХМSK8 | | RTX 4060 Ti МSK2 МSK3GB | \7BM SK6B МСК7 Величезна ціна | МSK0 А4000 M SK2мин) ♫ ♫ МSK4 ♫ 16 ГБ ♫ МSK0 GTX 1070 Ti MSК2 МСК3ГБ СМСК4 ♫ ♫ СМСК5 ♫ Б СМСк6 ♫ жорсткий ♫ ММСК7 ♫ MМСК8 ♫ Minimalно життєздатний ♫
Що про Intel/AMD NPUs?
Можливо, ви чули про мікросхеми Intel Core Ultra чи AMD Ryzen AI з вбудованими блоками обробки нейронів Чи можете ви використовувати їх замість NVIDIA?
Коротка відповідь: Досі не запропоновано для цього випадку використання ( з останнім часом МSK2 але наближається
Текущий стан (легший МSK1:
- DirectML зрілий: Пропускний час DirectML виконавець вже готовий до виробництва
- Налагодження підтримки NPU: Intel's Core Ultra (Meteor LakeM SK3Lunar LakeМSK4 and AMDMSC5s Ryzen AI can run inference via DirectML
- Ограничення формату моделі: ЦПи найкраще працюють з моделями ONNX ; Моделі GGUF МSK2 використовувані для LLMs) все ще націлені на CUDAM SK4CPU в першу чергу
- Продукція LLM: Для великих мовних моделей, НПУ зараз повільніші за дискретні GPU і часто повільніше за сучасні CPU
- Найкраще для: Невеликі моделі , на МSK2наслідування пристрою M SK3 батарея - заsilaні сценарії
Чому ми досі використовуємо NVIDIA CUDA:
- Зрілість екосистем: CUDA має 15+ роки оптимізації для LLM
- Лалам-Шарп: Використовує ламуM SK1cpp, яка націлена на CUDA /CPU, а не DirectML МSK4NPU
- Результати: Середній діапазон GPU NVIDIA все ще значно перевершує NPU для нашого obciążenia
- Громадська підтримка: значно більше ресурсів і розв 'язання проблем
Якщо у вас є CPU з NPU-:
- Для генерації вбудованого коду (Part МSK1 ви можете використовувати DirectML з Runtime ONNX -, можливо, він працює досить добре
- Для висновку LLM (Part 6), встановіть режим процесора або отримаєте дискретну GPU
- Дивіться на Ламу .cpp DirectML заголовок (експериментальний з ноября МSK2
На майбутнє: Неп 'ютери швидко вдосконалюються . На ранній стадії МSK2 вони можуть стати життєздатними для LLM висновків МSK3 особливо для менших моделей M SK4B-3B-параметри MSC6 IntelM SK7 наближається Arrow Lake і AMDMska8 наступний - ген XDNA МСК10 обіцяють значні покращення рівня інтелекту М СК11
Ця серія фокусується на NVIDIA CUDA тому що він дає найкращу ефективність сьогодні ,, але концепції архітектури будуть перетворюватися на NPU, коли екосистема підростає!
Проверьте ваші GPU
Перше, перевірити, що Windows бачить вашу ҐПУ
# PowerShell
wmic path win32_VideoController get name
Ви маєте бачити щось на зразок
Name
NVIDIA RTX A4000
Або використовуйте панель управління NVIDIA → Системна інформація → Навігація дисплея
Уявлення про архітектуру
Ось як працює комп 'ютерний стег.
graph TB
A[Your C# Application] --> B[ONNX Runtime / LLamaSharp]
B --> C[CUDA Toolkit]
C --> D[cuDNN Libraries]
D --> E[NVIDIA Driver]
E --> F[GPU Hardware]
G[TensorRT] -.Optional.-> D
class A,F endpoints
class C,D,E install
classDef endpoints stroke:#333,stroke-width:4px
classDef install stroke:#333,stroke-width:2px
subgraph "What We'll Install"
C
D
E
end
Розрив шару:
- Драйвер NVIDIA - Низкий МSK1вимірowy зв 'язок з GPU
- Набір інструментів CUDA - API для програмування GPU
- cuDNN - Бібліотека Глибоких Нейронних Сетей оптимізовані ядра МSK2
- Пропускний час NX / LLamaSharp - високого рівня ML frameworks
- Ваша програма - Наш код CM SK1
План інсталяції
Тут - це замовлення, ми - установка речей
graph LR
A[1. NVIDIA Driver] --> B[2. CUDA Toolkit]
B --> C[3. cuDNN]
C --> D[4. Verify Install]
D --> E[5. Test from C#]
class A,B,C,D,E steps
classDef steps stroke:#333,stroke-width:2px
Шаг 1: Драйвер NVIDIA
Проверка поточного драйвера
Відкрийте PowerShell:
nvidia-smi
Ви маєте бачити вихідний код як:
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 546.33 Driver Version: 546.33 CUDA Version: 12.3 |
|-------------------------------+----------------------+----------------------+
| GPU Name TCC/WDDM | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 NVIDIA RTX A4000 WDDM | 00000000:01:00.0 Off | Off |
| 41% 32C P8 10W / 140W | 345MiB / 16376MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
Інформація про ключ:
Driver Version: повинно бути 545.xx або новеCUDA Version: Це версія MAX CUDA, яка підходить дляM SK1 не те, що встановленоMemory-Usage: В даний момент використана / загальна VRAM
Обновлюйте драйвер, якщо це необхідно
Якщо nvidia-smi не працює, або ваш водій старий
Перейти до Загрузки драйверів NVIDIA
Виберите:
- Тип produktu: RTX/Quadro
- Серія produktów: Серія RTX Axxxx
- Продукт: РTX A4000
- Операційна система: Windows 11 ( або ваша версіяM SK1
- Тип завантаження: Драйвер студії (стабільніше, ніж готовий до гриM SK1
Установити і перезапустити
Знову перевірити
nvidia-smi
Шаг 2: Набір інструментів CUDA
CUDA надає інтерфейс програмування для прискорення GPU.
Вибір версії
Критичний: Нам потрібно ЦUDA 12.x для сучасних моделей
- ЦUDA 12.1+ - Хороший баланс здатності та властивостей
- Найновіші 12.x - Проверка здатності до комп 'ютерних бібліотек
- NOT CUDA 11.x - Погані характеристики, необхідні для нових моделей
завантажити & Заinstalувати
- Перейти до Архив інструментарію CUDA
- Вибрати Набір інструментів CUDA 12.1 ( або МSK1 якщо ви
- Виберите: Windows → xM SK1 → | | 11 \ → | exe | МSK5 | локальний
- завантажити (~3GBM SK1
Установлення
Запустити інсталятор. Коли запропоновано:
Installation Type: Custom (Advanced)
Select Components:
✅ CUDA Toolkit
✅ CUDA Documentation
✅ CUDA Samples
✅ CUDA Visual Studio Integration
❌ GeForce Experience (not needed)
❌ NVIDIA Driver (already installed)
Чому Custom?: Ми не хочемо
Проходження instalacji
Початковий шлях правильний:
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1
Але зверніть увагу на це: - ми ' потребуватимемо його для змінних середовищів МSK2
Установити змінні середовища
Інсталятор зазвичай встановлює ці ,, але перевіряє :
Проверка в PowerShell:
$env:CUDA_PATH
# Should show: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1
$env:PATH -split ';' | Select-String CUDA
# Should show CUDA bin and libnvvp paths
Якщо бракує, додайте вручну:
Відкрий Різниця в середовищі:
- droit-klik
This PC→ Персонали → Заawansowane налаштування системи МSK2 Варіабли середовища
- droit-klik
Під Варіабли системи, перевірити
CUDA_PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1CUDA_PATH_V12_1=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1
В
Pathзмінна, переконатися, що вони існуютьC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\libnvvpЗнову розпочати свій терминал щоб зміни вступили в силу
Перевірити інсталяцію CUDA
# Check CUDA compiler
nvcc --version
# Should output:
# nvcc: NVIDIA (R) Cuda compiler driver
# Copyright (c) 2005-2023 NVIDIA Corporation
# Built on Tue_Feb__7_19:32:13_Pacific_Standard_Time_2023
# Cuda compilation tools, release 12.1, V12.1.66
# Check path resolves
where.exe nvcc
# Should show: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\nvcc.exe
Шаг 3: cuDNN (CUDA Deep Neural Network library)
cuDNN дає оптимізовані рішення для операцій глибокого навчання.
Версия Compatibility
Критичний: cuDNN version must match CUDA version!
Для ЦUDA 12.x, нам потрібно cuDNN 8.9+ для CUDA 12.x (в момент написання, МSK3 або пізнішеM SK4
завантажити cuDNN
- Перейти до Архив cuDNN
- Вам ' потрібне Konto NVIDIA Developer
- Найти: Скачайте cuDNN v8.9.7 M SK1Декабрь МSK2десятий МSK3 \2023), для CUDA 12.x
- Виберите: локальний інсталятор для Windows (Zip)
- завантажити (~800MBM SK1
Вихопити та заinstalувати cuDNN
cuDNN - це лише набір файлів, які ви копіюєте в установку CUDA.
Візьміть ZIPМSK0 ви ' побачите :
cudnn-windows-x86_64-8.9.7.29_cuda12-archive\
bin\
cudnn64_8.dll
cudnn_adv_infer64_8.dll
cudnn_adv_train64_8.dll
... (more DLLs)
include\
cudnn.h
... (header files)
lib\
x64\
cudnn.lib
... (lib files)
Копія файлів до instalacji CUDA:
# Assuming you extracted to Downloads and CUDA is in default location
# Run PowerShell as Administrator
$cudnnPath = "$env:USERPROFILE\Downloads\cudnn-windows-x86_64-8.9.7.29_cuda12-archive"
$cudaPath = "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1"
# Copy DLLs
Copy-Item "$cudnnPath\bin\*.dll" -Destination "$cudaPath\bin\"
# Copy headers
Copy-Item "$cudnnPath\include\*.h" -Destination "$cudaPath\include\"
# Copy libs
Copy-Item "$cudnnPath\lib\x64\*.lib" -Destination "$cudaPath\lib\x64\"
Або зробити це вручну:
- Копувати всі файли з
bin\доC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\ - Копувати всі файли з
include\доC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\include\ - Копувати всі файли з
lib\x64\доC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\lib\x64\
Перевірити інсталяцію cuDNN
# Check DLLs exist
Test-Path "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn64_8.dll"
# Should return: True
# List all cuDNN DLLs
Get-ChildItem "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn*.dll"
Шаг 4: Полне перевірки
Дозвольте переконатись, що все працює разом
Проверка обладнання
nvidia-smi
Потрібно показати GPU без жодних помилок.
Перевірка ЦUDA
nvcc --version
Потрібно показати CUDA 12.1 ( чи будь-яку іншу версію, яку ви установили).
Перевірка системних змінних
# All these should return paths
$env:CUDA_PATH
$env:CUDA_PATH_V12_1
# Check PATH includes CUDA bin
$env:PATH -split ';' | Select-String CUDA
Випробовування зразків ЦUDA (Optional but RecommendedM SK1
Набір інструментів CUDA включає в себе прикладні програми. Дозволять'с комп 'ютеризувати і запускати одинM SK2
Навігати до зразків:
cd "C:\ProgramData\NVIDIA Corporation\CUDA Samples\v12.1"
Знайти прилад:
cd "1_Utilities\deviceQuery"
Створіть його (забаровує візуальну студіюM SK1
# If you have VS 2022
"C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Current\Bin\MSBuild.exe" deviceQuery_vs2022.vcxproj /p:Configuration=Release /p:Platform=x64
Прокрутить його:
.\x64\Release\deviceQuery.exe
Ви маєте бачити вихідний код як:
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "NVIDIA RTX A4000"
CUDA Driver Version / Runtime Version 12.3 / 12.1
CUDA Capability Major/Minor version number: 8.6
Total amount of global memory: 16376 MBytes (17174683648 bytes)
(048) Multiprocessors, (128) CUDA Cores/MP: 6144 CUDA Cores
GPU Max Clock rate: 1560 MHz (1.56 GHz)
Memory Clock rate: 7001 Mhz
Memory Bus Width: 256-bit
L2 Cache Size: 4194304 bytes
...
Result = PASS
Шлях ключів: Result = PASS
Якщо ви бачите це, ваша Ґупі M SK1 CUDA МSK2 пакет cuDNN працює
Шаг 5: Тестування від CM SK1
Тепер найцікавіше те, що - дозволяє ' використовувати CUDA від C#!
Створити тестний проект
mkdir CudaTest
cd CudaTest
dotnet new console -n CudaTest
cd CudaTest
Додайте час запуску ONNX з CUDA
Пропускний час на NX найпростіший спосіб використовувати CUDA з C#.
dotnet add package Microsoft.ML.OnnxRuntime.Gpu # Latest version
Чому цей пакет?
Microsoft.ML.OnnxRuntimeТільки - ПроцесорMicrosoft.ML.OnnxRuntime.Gpu- Включає підтримку CUDA
Код тесту: Виявление GPU
Створити Program.cs:
using Microsoft.ML.OnnxRuntime;
using System;
using System.Linq;
namespace CudaTest
{
class Program
{
static void Main(string[] args)
{
Console.WriteLine("=== CUDA Test from C# ===\n");
// Test 1: Can we create a CUDA execution provider?
Console.WriteLine("Test 1: CUDA Execution Provider");
try
{
var cudaProviderOptions = new OrtCUDAProviderOptions();
var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider_CUDA(cudaProviderOptions);
Console.WriteLine("✅ CUDA execution provider created successfully");
Console.WriteLine($" Device ID: {cudaProviderOptions.DeviceId}");
}
catch (Exception ex)
{
Console.WriteLine($"❌ Failed to create CUDA provider: {ex.Message}");
return;
}
// Test 2: Check available providers
Console.WriteLine("\nTest 2: Available Execution Providers");
var providers = OrtEnv.Instance().GetAvailableProviders();
foreach (var provider in providers)
{
Console.WriteLine($" - {provider}");
}
if (providers.Contains("CUDAExecutionProvider"))
{
Console.WriteLine("✅ CUDA provider is available");
}
else
{
Console.WriteLine("❌ CUDA provider NOT available");
}
// Test 3: Get CUDA device count and info
Console.WriteLine("\nTest 3: CUDA Device Information");
try
{
// ONNX Runtime doesn't expose deviceQuery directly,
// but we can test by trying to create a session
var opts = new SessionOptions();
opts.AppendExecutionProvider_CUDA(0); // Device 0
Console.WriteLine("✅ Successfully configured for CUDA device 0");
Console.WriteLine(" (Full device info requires native CUDA calls)");
}
catch (Exception ex)
{
Console.WriteLine($"❌ CUDA device configuration failed: {ex.Message}");
}
Console.WriteLine("\n=== Test Complete ===");
}
}
}
Розрив коду:
Опції OrtCUDAProvider - Konfigurує виконання CUDA
DeviceId- Який графічний процессор використовувати для першого графічного процесора 0- Можна встановити обмеження пам 'яті, рівень оптимізаціїM SK1 і т.д.
Опції сеансу.AppendExecutionProviderM SK1CUDA() - Каже ONNX Runtime використовувати GPU
- Якщо це працює, CUDA працює
- Якщо це не працює, щось в стопці зламано
OrtEnv.Instance().GetAvailableProvidersM SK2 - Список усіх доступних постачальників виконання
- Потрібно включити "CUDAExecutionProvider", якщо все встановлено правильно
- Також показує "CPUExecutionProvider" як зворотній зв 'язок
Пройти тест
dotnet run
Очікуваний результат:
=== CUDA Test from C# ===
Test 1: CUDA Execution Provider
✅ CUDA execution provider created successfully
Device ID: 0
Test 2: Available Execution Providers
- CUDAExecutionProvider
- CPUExecutionProvider
✅ CUDA provider is available
Test 3: CUDA Device Information
✅ Successfully configured for CUDA device 0
(Full device info requires native CUDA calls)
=== Test Complete ===
Виліковування поширених помилок
Error: M SK1DllNotFoundException: Не в змозі загрузити DLL
Причина: Runtime ONNX не може знайти CUDA DLLs
Поправити:
# Make sure CUDA bin is in PATH
$env:PATH += ";C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin"
# Verify cudnn DLL exists
Test-Path "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn64_8.dll"
# Try running again
dotnet run
Error: M SK1CUDAExecutionProvider not found"
Причина: Неправильне використання OnNX Runtime пакету
Поправити:
dotnet remove package Microsoft.ML.OnnxRuntime
dotnet add package Microsoft.ML.OnnxRuntime.Gpu --version 1.16.3
Ошибка: M SK1 Код помилки CUDA : | | МSK3 \ | ( Версия драйвера CUDA недостатньо
Причина: Драйвер надто старий для CUDA
Поправити: Обновлюйте драйвер NVIDIA на 545.xx або нове МSK2
Дальне тестування: Реальна інференція
Давайте зробимо щось реальне. - запустимо крихітну нейронну мережу на GPU vs CPU і порівняємо швидкість
завантажити тестову модель
Ми використовуватимемо просту модель MNIST для розпізнавання цифр.
# Download sample model
Invoke-WebRequest -Uri "https://github.com/onnx/models/raw/main/vision/classification/mnist/model/mnist-8.onnx" -OutFile "mnist.onnx"
Код тесту інференції
Обновляти Program.cs:
using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;
using System;
using System.Diagnostics;
using System.Linq;
namespace CudaTest
{
class Program
{
static void Main(string[] args)
{
Console.WriteLine("=== GPU vs CPU Inference Test ===\n");
// Create dummy input (28x28 image flattened to 784 floats)
var inputData = Enumerable.Range(0, 784).Select(i => (float)i / 784).ToArray();
var tensor = new DenseTensor<float>(inputData, new[] { 1, 1, 28, 28 });
var inputs = new List<NamedOnnxValue>
{
NamedOnnxValue.CreateFromTensor("Input3", tensor)
};
// Test 1: CPU Inference
Console.WriteLine("Test 1: CPU Inference");
var cpuTime = TestInference(inputs, useCuda: false, iterations: 100);
Console.WriteLine($" Average time: {cpuTime:F2}ms\n");
// Test 2: GPU Inference
Console.WriteLine("Test 2: GPU Inference");
var gpuTime = TestInference(inputs, useCuda: true, iterations: 100);
Console.WriteLine($" Average time: {gpuTime:F2}ms\n");
// Compare
Console.WriteLine("Comparison:");
Console.WriteLine($" CPU: {cpuTime:F2}ms");
Console.WriteLine($" GPU: {gpuTime:F2}ms");
Console.WriteLine($" Speedup: {cpuTime / gpuTime:F2}x faster on GPU");
}
static double TestInference(List<NamedOnnxValue> inputs, bool useCuda, int iterations)
{
var options = new SessionOptions();
if (useCuda)
{
options.AppendExecutionProvider_CUDA(0);
}
using var session = new InferenceSession("mnist.onnx", options);
// Warmup run (first run is always slower)
session.Run(inputs);
// Timed runs
var sw = Stopwatch.StartNew();
for (int i = 0; i < iterations; i++)
{
using var results = session.Run(inputs);
// Force evaluation
var output = results.First().AsEnumerable<float>().ToArray();
}
sw.Stop();
return sw.Elapsed.TotalMilliseconds / iterations;
}
}
}
Пояснення коду:
DenseTensor - ONNX Runtime ' спосіб репрезентації багатовимірних
- Форма
[1, 1, 28, 28]МSK0 партія_ розмірM SK2 канали=1, висотаMSC4 ширинаMST5
- Форма
НазванийOnnxValue - Об 'єднує тензор з ім' я на вході
- "InputM SK1 - це ім 'я входу в модель MNIST
Вигрівання - Перший висновок завжди повільніший МSK1навантаження моделіM SK2 оптимізація
- Ми бігаємо один раз перед тим, як налаштувати тайм, щоб отримати точні виміри
Методика тайминга - Середня зміна над МSK1 для стабільних результатів
Пройти тест на ефективність
dotnet run
Очікуваний результат ( ваші числа будуть відрізнятисьM SK1
=== GPU vs CPU Inference Test ===
Test 1: CPU Inference
Average time: 0.42ms
Test 2: GPU Inference
Average time: 0.15ms
Comparison:
CPU: 0.42ms
GPU: 0.15ms
Speedup: 2.80x faster on GPU
Чому така маленька швидкість?
- MNIST - крихітна модель ( тільки 100KB
- Переробка даних на GPU домінує
- Для більших моделей (1GBM SK1 ви ' побачите МSK3x прискорення
Key Takeaway
Ми - ' - довели, що весь стег працює ✅ Драйвер правильно zainstalowanий ✅ Набір інструментів CUDA доступний ✅ з інтегрованим cuDNN ✅ Runtime знаходить CUDA ✅ C# може запустити GPUM SK2 прискорене виведення
Усвідомлення ефективності
Передача пам 'яті
Ось що відбувається під час висновку
sequenceDiagram
participant App as C# Application
participant CPU as CPU Memory
participant GPU as GPU Memory
participant Compute as GPU Cores
App->>CPU: Create input tensor
CPU->>GPU: Transfer input (PCIe)
Note over GPU: Slow! ~16GB/s
GPU->>Compute: Execute model
Note over Compute: Fast! TFLOPS
Compute->>GPU: Write output
GPU->>CPU: Transfer output (PCIe)
Note over GPU: Slow again!
CPU->>App: Return results
Вправні уроки:
- Обробка пакетів - Перенести багато входів в один раз для амортизації накладних витрат
- Храните дані на GPU - Операції по ланцюгу, щоб уникнути передачі
- Більші моделі отримують більшу користь - фіксовані витрати на передачу , обчислення масштабування
Коли використовувати GPU проти CPU
graph TD
A[Inference Request] --> B{Model Size}
B -->|< 100MB| C{Batch Size}
B -->|> 100MB| D[Use GPU]
C -->|Single Item| E[Use CPU]
C -->|Batch > 10| D
D --> F[10-100x Faster]
E --> G[Lower Latency for Single]
class D,E choice
classDef choice stroke:#333,stroke-width:2px
Правило палець:
- ҐПУ - Великих моделей , переробка пакету МSK2 генерація вмонтування
- Процесор - Невеликі моделі МSK1 одиниці запитів , затримка
Для нашого блогового редактора:
- Вбудова - Batch process МSK1 chunks → GPU
- Дослідження LLM - Великий модель МSK1B парами МSK2 → GPU
- Поиск вектора - залежить від вибору DB , часто від процесора МSK2 прив 'язане
Підсумок
Ми МСК0 , Успішно ," МSK1 .
- ✅ Установлений драйвер NVIDIA
- ✅ Установлений інструментарій CUDA 12.1
- ✅ Інтегрований cuDNN 8.9.7
- ✅ Перевірено з
nvidia-smiіnvcc - ✅ Tested GPU access from C# with ONNX Runtime
- ✅ Порівняння продуктивності з Ran
Наша сфера розробки вже готова для роботи з штучним розумом!
Що' СледующаяM SK1
В Частина 3, миM SK1 зануримося у деталі вбудованих і векторних баз даних :
- Що таке вбудова і як вона дає змогу робити семантичні пошуки?
- Вибір між Qdrant, pgvector, та іншими варіантами
- генерування вбудованих компонентів локально за допомогою Runtime ONNX
- Збереження і пошук мільйонів векторів ефективно
- Збудувати наш перший прототип семантичного пошуку
Ми нарешті почнемо працювати з реальним змістом блогу і побачимо RAG в дії
Справка про розв 'язання проблем
Гвидкі команди діагностики
# Check GPU
nvidia-smi
# Check CUDA
nvcc --version
where.exe nvcc
# Check cuDNN
Test-Path "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn64_8.dll"
# Check environment
$env:CUDA_PATH
$env:PATH -split ';' | Select-String CUDA
# Test from C#
dotnet run
Поширені проблеми
| Ошибка | ||
|---|---|---|
nvidia-smi не знаходилось |
Драйвер не установлен | Установити драйвер NVIDIA МSK2 |
nvcc не знаходилось |
ЦUDA не в PATH | Додайте CUDA-бун до PATH |
| Завантаження DLL не спрацювало | бракує cuDNN | |
| Поставник CUDA не знайдений | Неправильний пакет NuGet МSK2 Використовувати Microsoft.ML.OnnxRuntime.Gpu |
|
| Версия драйвера недостатньо МSK1 Старий драйвер МSK2 Обновлення до 545.xxM SK4 СМК5 |
Версия Матрица здатності
| Версия CUDA МSK1 Версія cuDNN МSK2 Пропускний час ONNX | Виmaganі драйвери M| |--------------|---------------|--------------|-----------------| МSK0 12.1 ♫ ♫ МSK2 ♫ МSK0 12.3 ♫ ♫ МSK2 ♫ МSK0 11.8 ♫ ♫ МSK2 ♫
Навігація серії
- Частина 1: Вprowadzenie МSK1 Архітектура
- Частина 2: Установка GPU & CUDA в C# (this postM SK1
- Частина 3: Порозуміння вбудованих компонентів МSK1 Вektorні бази даних
- Частина 4: Збудування каналу впиту
- Частина 5: Windows Client
- Частина 6: Локальна інтеграція LLM
- Частина 7: генерація контенту МSK1 швидка інженерія
- Частина 8: Заawansовані характеристики & Розгортання виробництва
Ресурс
- Документація комплекту інструментів ЦUDA
- Документація cuDNN
- Допомічник запуску GPU на комп 'ютері ONNX
- Зона розробників NVIDIA
Побачимося Частина 3, де ми нарешті починаємо будувати семантичний пошуковик