# अपने ब्लॉग - पार्ट १: परिचय (p) > चेतावनी: ये तो डीआरफ्लिक हैं जो 'के साथ गलत' है. यह शायद नीचे क्या काम नहीं करेगा, मैं इन्हें बनाने के लिए कैसे और फिर सभी कदमों के रूप में और काम करने के लिए एक नमूना ऐप मिलता है... तुम चुपके से किया गया है और उन्हें देखा है! वे शायद मध्य-बार के लिए तैयार हो जाएगा. ## परिचय हंस क्योंकि यह एक लंबी श्रृंखला होने जा रहा है! > यदि आप इस ब्लॉग के साथ पीछा किया गया है, तो आप जानते हैं कि मैं दिलचस्प तरीके से काम करने के लिए दिलचस्प तरीके खोज रहा हूँ। खैर, मैं एक नई परियोजना मिल गया है कि चिट्ठाकारी, सी# और एआई के मेरे प्यार को साझा करता है: एक लेखन सहायक बनाने में मेरी मदद करता है कि एक नया ब्लॉग पोस्टों को एक ज्ञान आधार के रूप में मेरी मौजूदा सामग्री का उपयोग करने में मदद करता है। ध्यान दें: यह एआई के साथ मेरे परीक्षण का हिस्सा है (जैसे कि मेरे स्वयं का संपादन). - उसी आवाज़ की तरह, उसी आवाज़ में एक - दूसरे का हाथ होता है; सिर्फ तेज़ उंगलियों को । - इस बारे में सोचिए कि कानून के मुताबिक कानून के मुताबिक छोटे - छोटे काम कैसे किए जा सकते हैं । - वे scrat - प्रणाली संदर्भों से शुरू नहीं करते, पिछले दस्तावेज़ों पर आधारित भाषा सुझाव देती है, और स्थापित पैटर्नों के साथ सुसंगतता बनाए रखता है. - यही कारण है कि हम यहाँ निर्माण कर रहे हैं, लेकिन ब्लॉग सामग्री के लिए। - लक्ष्य है कि एक एआई- शक्ति युक्त लेखन सहायक: मेरी स्थापित शैली में नए ब्लॉग पोस्टों की मदद करता है[संदर्भ के लिए पिछले आलेखों से संबंधित विषय को सलाह देता है](https://www.anthropic.com/index/contextual-retrieval)सुसंगतता बनाए रखने के लिए समान पोस्टों को ढूंढें ## संबंधित आलेखों से आंतरिक लिंक स्वचालित बनाएँ **प्रेरितों की तरह अपने ब्लॉग के लिए "ज्वॉट"** - **इस श्रंखला का पूरा निर्माण पूरा होगा**पुनःप्राप्त किया जा रहा Agltipt (RG) - **C# में तंत्र जो विंडोज़ पर चलता है.**हम नवीनतम दृष्टिकोण और फ्रेमवर्क उपयोग करेंगे, और मैं हर नई तकनीक को समझा देंगे जब हम इसे सामना करते हैं. - **मेरा हार्डवेयर सेटअप (और न्यूनतम स्पिक्स)**मेरे विकास मशीन: जीपीयू**: NVIIAR RTX A4000 (16GB वीरैम)**सीपीयू ### : अएमई आरन 950X - **रैम**: 96GB डीआर5 - यह मेरा विशेष सेटअप है, लेकिन आप - इस हार्डवेयर की जरूरत नहीं है - **साथ का पालन करने के लिए।**यहाँ भिन्न अवयव के लिए न्यूनतम परत हैं: - जीयूपीएब्लिया (अनुप्रयोगित, जरूरी नहीं) - **न्यूनतम**: NVIIDERAGGU 8GB वीथ के साथ (जैसे, RTX60, GT270BBBBB) ### 7B पैरामीटर ऋण के साथ मॉडल चला सकते हैं - **हाल ही में अंतर्निर्मित पीढ़ी गति**सांत्वनायोग्य - **: 12GB+ वोथ (उदा. ई.**बड़े मॉडल या उच्च गुणवत्ता के अनुकूल दौड़ें - मेरा सेटअप - : 16GB (A4000) - 13BR) मॉडलों को आराम से चला सकते हैं - सीपीयू- सिर्फ वैकल्पिक - न्यूनतम ### : आधुनिक टाइटेरियन सीपीयू - **अनुशंसित**: 8+ कोर (प्रचलित पीढ़ी के लिए) - जो कुछ सिर्फ सीपीयू पर काम करता है, सिर्फ धीमे: - **अंतर्निर्मित पीढ़ी: ~ 5- 10x धीमा**गंभीरता: ~ 10-50x धीमा - फिर भी एक लेखन सहायक के लिए पूरी तरह से प्रयोग किया गया! - **रैम रैम**न्यूनतम ### 16: 16GB सिस्टम रैम - **7B मॉडलों के लिए सिर्फ सीपीयू में**सांत्वनायोग्य - **: 32GB**सीपीयू पर बड़े मॉडल के लिए बेहतर ### मेरा सेटअप : 96GB - अधिक काम, 32GB बहुत है - **भंडारण**एसडीडी - **: मॉडल लोड करने के लिए अनुशंसित**खाली जगह - **: ~20GB मॉडल तथा सदिश डाटाबेस के लिए**Andel/AmPUs के बारे में क्या? **आधुनिक सीपीयू अब समर्पित एआई त्वरक शामिल हैं:**क्लेरल कोर यूलर*(मर्क झील+) - इनेल एआई बूस्ट (एनपीयूपीयू)*एएम आरनेनियन एआई **(70/8040 क्रम) - Xen NPU** - ✅ Great for: On-device inference, battery efficiency (laptops) - ⚠️ Limited for our use: Immature .NET/ONNX Runtime support - ❌ Not ready for: This project's primary path **AMM Rynian एआई मैक्स** 1. **(स्ट्रिक्स बिन्दु) - 50 से ऊपर**महत्वपूर्ण: NPUUs केवल जोखिम के लिए हैं! 2. **आप NPUS पर " निर्माण" या ट्रेन मॉडल नहीं है - वे करने के लिए बनाया गया है**चलाने के लिए 3. **पूर्व मॉडल अच्छी तरह से प्रशिक्षित।**बादलों में मॉडलों को प्रशिक्षित किया जाता है (या कार्य), तो डाउनलोड किया जाता है और NPUPUs के लिए NPUPUs के लिए तैनात किया जाता है। 4. **एनयूपीएस पर चलाने के लिए वर्तमान स्थिति (के रूप में):**क्यों न इस श्रृंखला के लिए NPUUUs? 5. **सॉफ्टवेयर पर्यावरण**: CUND में 15+ साल प्रौढ़ता का है, NPU समर्थन . NNT है nsent **मॉडल संगतता** - : ज़्यादातर जीजीएफ मॉडल सीयू/ सीयूयूयू, NPUCP- अप मॉडलों की संख्या बहुत कम है[दस्तावेज़ीकरण](https://github.com/microsoft/DirectML): C# में एनयू विकास के लिए संसाधनों की सीमा - परफार्मेंस - : हमारे भार के लिए वर्तमान में धीमी गति से - प्रत्यक्षएमएल समर्थन **: अभी भी प्रयोग की गई जानकारी** ```bash # Use DirectML execution provider (supports NPU) dotnet add package Microsoft.ML.OnnxRuntime.DirectML # In code: var sessionOptions = new SessionOptions(); sessionOptions.AppendExecutionProvider("DML"); // DirectML var session = new InferenceSession("model.onnx", sessionOptions); ``` **आप अनंतता के लिए NPUUs का उपयोग कर सकते हैं?**हाँ, लेकिन:[आवश्यकताएँ](https://onnxruntime.ai/)प्रत्यक्षएमएल[एनएनएक्स रन समय में चलाएँ](https://github.com/microsoft/DirectML)मॉडल्स पर होना आवश्यक है (GGUF) **C# समर्थन उपयोग में है**परफ़ॉर्मेंस वर्तमान में उपलब्ध है वी. सीयूडीए [TOC] ## NPU को कैसे कोशिश करें (एक सामान्य उपयोक्ता:): भविष्य के बारे में 1. **: एक बार**ऑन NNX रन समय 2. **और**प्रत्यक्षएमएल 3. **प्रौढ़ उनका NPU समर्थन (जैसे 2024-2025), ये सहजता के लिए व्यावहारिक विकल्प बन जाएगा!**निचला लकीर 4. **: मैं Gugue-पी-पीपीव मार्ग दिखाता हूँ, लेकिन पूरे प्रकार से सीपीयू-सिर्फ विकल्प नोट करेंगे.**आप सिर्फ सीपीयू प्रारंभ कर सकते हैं तथा बाद में उन्नयन कर सकते हैं! 5. **हम क्या बना रहे हैं**अंतिम तंत्र में कई अवयव होंगे: 6. **घड़ी की विपरीत दिशा में (t)**- सभी ब्लॉग पोस्टों को प्रोसेस करता है, उन्हें बुद्धिमान रूप से अलग करता है, और स्कैनिंग तैयार करता है सदिश डाटाबेस ## - स्कैनिंग और समान सामग्री के लिए खोज सक्षम करता है विंडो क्लाएंट अनुप्रयोग - - एक डेस्कटॉप लेखन सहायक यूआई संपादक तथा सुझाव फलक के साथ - संयोजन - - सामग्री की पीढ़ी के लिए स्थानीय जीपीपीपी-पीपीएन्स - प्रशस्ति-पत्र को कड़ी तैयार करें (m) - इससे संबंधित पोस्टों के आंतरिक लिंक तथा संदर्भ - स्टाइल संगतता इंजिन - - आवाज तथा संरचना को बनाए रखने के लिए मौजूदा पोस्टों से पैटर्न सिखे - इसके बारे में सोचो "Guallikikiky मिलता है" लेकिन विशेष रूप से अपने ब्लॉग की सामग्री और शैली पर प्रशिक्षित. - क्यों "लेर्स"? - आज के कानून, कानून के बड़े - बड़े पुस्तकालयों में प्रशिक्षित किए गए हैं ताकि वे कानूनी दस्तावेज़ों की मदद कर सकें । एक चाल लिखने के दौरान, तंत्र: ## संदर्भ संबंधित पूर्वनिर्धारितता तथा पिछला आर्गुमेंट सफल हैं भाषा के नमूने सुझाव देती है कि इससे पहले काम किया गया है ### कानूनी लेखन मानकों के साथ संगति बनाए रखता है स्रोत स्वचालित वर्णन करें ### [यह हमारी मॉडल है.](/blog/building-a-lawyer-gpt-for-your-blog-part2) जब मैं लिखना शुरू करता हूँ "के लिए एंटिटी फ्रेमवर्क.", तंत्र को होना चाहिए:[मेरा पिछला ईएफएफ से जुड़ा पोस्ट ढूंढें](https://developer.nvidia.com/cuda-toolkit), [सुझाव: मैं पहले इस्तेमाल किया है पैटर्न सलाह दें](https://developer.nvidia.com/cudnn)पिछले आलेखों से संबंधित फ़ाइलों को प्रस्तुत करें ### [संबंधित पोस्ट से स्वचलित लिंक](/blog/building-a-lawyer-gpt-for-your-blog-part3) अपनी लेखन शैली और तकनीकी गहराई को बनाए रखिए[जेनेरिक एआई लेखन सहायक से विपरीत, हमारा सिस्टम वास्तविक अतीत की सामग्री में आधारभूत है, तो यह उन बातों का सुझाव नहीं देंगे जो मैंने पहले से ही लिखी हैं.](https://qdrant.tech/)श्रेणी ओवरव्यू[यहाँ हम आ रहे सप्ताह के ऊपर कवर करेंगे क्या है:](https://github.com/pgvector/pgvector)). ### [पार्ट 1 (यह पोस्ट: परिचय)](/blog/building-a-lawyer-gpt-for-your-blog-part4) हम स्थापित कर देंगे कि हम क्या निर्माण कर रहे हैं और क्यों, और इसके अलावा भवनीय निर्णयों को कवर करेंगे. ### [पार्ट 2: जीपीयू सेटअप सीयूडीडीक में C# में (G)](/blog/building-a-lawyer-gpt-for-your-blog-part5) जीयूपीयू-कैप्टर के लिए विंडोज़ स्थापित किया जा रहा है एआई कार्य लोड किया जा रहा है, संस्थापित किया जा रहा है[सीयूडीए](https://docs.microsoft.com/en-us/dotnet/desktop/wpf/), [beninn](https://avaloniaui.net/), और कि C# वास्तव में देख सकते हैं और अपने जीपी का उपयोग कर सकते हैं कि जाँच.[भाग ३: सामान्य समझ जो सदिश व डाटाबेस को शामिल करती है](https://dotnet.microsoft.com/en-us/apps/maui)गहरे रूप में जो अंतर्निर्मित वास्तव में है में, वे कैसे sulting खोज सक्षम करते हैं, और सही वेक्टर डाटाबेस चुनने के लिए: हम शायद इस्तेमाल करेंगे ### [स्केल्स](/blog/building-a-lawyer-gpt-for-your-blog-part6) या[पीगवर्टर](https://onnxruntime.ai/), [पार्ट ४: १९ - १९.](https://github.com/ggerganov/llama.cpp)प्रक्रिया फ़ाइलों को नीचे कर रहा है, बुद्धिमान विवेकी नीतियाँ (आप सिर्फ पैराग्राफ पर विभाजित नहीं कर सकते) और हमारी सभी सामग्री के लिए अंतर्निर्मित बनाया जा रहा है. ### [पार्ट 5: विंडोज़ क्लाएंट](/blog/building-a-lawyer-gpt-for-your-blog-part7) दायाँ फ्रेमवर्क का चयन करें (ए) ### [डब्ल्यूट](/blog/building-a-lawyer-gpt-for-your-blog-part8) आवाही ## , या मायूआई ### ? , यूआई बनाने और इसे वास्तव में इस्तेमाल करने के लिए सुखद बनाने. भाग ६: स्थानीय संयोजन 1. **स्थानीय उपयोग से मॉडल चल रहा है**ऑन NNX रन समय 2. **विलमा. बीपीपी**बाइंडिंग, या अन्य दृष्टिकोण. 3. **यह A4000 का पूरा उपयोग कर रहे हैं!**पार्ट 7: सामग्री बनाना बनाने की इंजीनियरिंग की पूर्वसूचना देता है (g) 4. **यह सब एक साथ - साथ लाने के लिए ज़रूरी सामग्री, संदर्भ विंडो प्रबंधन के लिए, लिखने के लिए प्रायोगिक इंजीनियरिंग, और कोरपूर्ण सुझाव तैयार करने के लिए लाया जा रहा है ।**भाग ८: विस्तृत विशेषताएँ व उत्पादन सहायक 5. **संबंधित पोस्ट से स्वचलित लिंकिंग, शैली संगतता जांच, कोड साफ करने तथा तंत्र को वाक़ई दैनिक लेखन के लिए उपयोगी बनाया जा रहा है.**रेजी क्यों? ### इससे पहले कि हम बनावट में रंगने से पहले, हम Reg (Regigirig) क्यों के बारे में बात करते हैं, सही तरीका है यहाँ है. अच्छी तरह से दोष के साथ समस्या आप शायद सोचें: "क्यों न सिर्फ सभी ब्लॉग पोस्टों पर अच्छी तरह से दोष लगाने के लिए"? ऐसे कई विषय हैं: 1. लागत व जटिलता 2. - अच्छी तरह से तैयार करना महँगी है (दोनों की गणना और प्रयास में) 3. स्टेलापन 4. - हर नए ब्लॉग पोस्ट का अर्थ है फिर से अभ्यास करना 5. ब्लैक बक्सा - मॉडल " सीख लिया" को समझने के लिए कठिन है - ✅ Always up-to-date (just re-index new posts as you write them) - ✅ Grounded in your actual writing (maintains consistency) - ✅ Traceable (know which past posts influenced suggestions) - ✅ Efficient (no expensive retraining for every new post) - ✅ Flexible (can swap out LLMs or adjust search strategies) - ✅ Privacy-preserving (everything runs locally) ## हाल ही में सजग होइए! - कोई गारंटी नहीं है मॉडल कुछ भी नहीं करेगा ```mermaid graph TB A[Markdown Files] -->|Ingest| B[Chunking Service] B -->|Text Chunks| C[Embedding Model] C -->|Vectors| D[Vector Database] E[User Writing] -->|Current Draft| F[Windows Client] F -->|Embed Context| C C -->|Query Vector| D D -->|Similar Content| G[Context Builder] G -->|Relevant Past Articles| H[Prompt Engineer] H -->|Prompt + Context| I[Local LLM] I -->|Generated Suggestions| J[Link Generator] J -->|Suggestions + Citations| F F -->|Display| K[Editor with Suggestions] class C,I embedding class D,K output classDef embedding stroke:#333,stroke-width:4px classDef output stroke:#333,stroke-width:4px ``` ### प्रशस्ति-पत्र को नहीं - आसानी से ट्रेस उत्तर स्रोत में वापस नहीं जा सकते - RAG इसे कैसे हल करता है - RAG दोनों दुनिया की सबसे अच्छी तरह से जोड़ता है: संदर्भ - स्पष्ट सामग्री बनाने के लिए खोज की क्षमता के साथ. - प्रवाह है: - उपयोक्ता लिखना शुरू करता है (जैसे, "केसंपिक के साथ एक पुनःसंत्र बनाना") - तंत्र को समान पिछले लेखों की यथार्थता से खोज आती है **तंत्र फीड तुमसे संबंधित वस्तु को लीएम के संदर्भ के रूप में दिखाता है**TLM सुझाव बनाता है पिछले विषयवस्तु के आधार पर जारी/ रद्दीकरण ### तंत्र में स्रोत पोस्टों के संदर्भों के लिए सुझाव दिए गए हैं इसका अर्थ है: तंत्र यूनीक्यूशन मुझे कुंजी घटकों को तोड़ दो हम निर्माण हो जाएगा: - 1 .. - घड़ी की विपरीत दिशा में (t) **यह अवयव:**ब्लॉग डिरेक्ट्री से फ़ाइलों को पढ़ा जा रहा है - [मेटाडाटा को निकालें (शीर्षक, वर्ग, तिथि, शब्द गिनती)](https://www.sbert.net/)फिर से उपयोग के लिए मैं सामग्री को फिर से टाइप करता है (प्रयोगात्मक कोड ब्लॉक) - सजावटी पैटर्न (कैसे मैं पोस्टों को व्यवस्थित करता हूँ) - [कैशेरेशन बनाने के लिए ट्रैक्स स्रोत जानकारीName](https://huggingface.co/BAAI/bge-base-en-v1.5)कुंजी चुनौती ### : बहुत बड़ी रणनीति के मामले । बहुत छोटा है और आप संदर्भ खो देते हैं. **बहुत बड़ा है और आप LLL के संदर्भ विंडो बर्बाद.**हमें ऐसे बदलाव करने की ज़रूरत है, जो एक पूर्ण विचार या खण्ड हैं, और इसका मतलब यह नहीं कि कोई सीधा अनुच्छेद टूटता है । - **[2](https://qdrant.tech/)**मॉडल एम्बेड किया जा रहा है - **[ये जादू हैं जो आमतौर पर खोज का काम करता है ।](https://github.com/pgvector/pgvector)**एक एम्बेडेड मॉडल पाठ लेता है और इसे उच्च- कालिक सदिश (ऐरे की संख्या) में बदलता है जो कि आडिस्टिक अर्थ खींच लेता है. - **[इसी तरह की धारणाओं का अंत "पास जगह में" होता है, तब भी जब वे अलग शब्द इस्तेमाल करते हैं.](https://weaviate.io/)**उदाहरण के लिए: - **[" विवेकी उत्प्रवासन" और DB स्कीमा का पालन करना उसी तरह का प्लैटिंग होता](https://www.trychroma.com/)**"घर" और "परिटेन" "कोच" से करीब हो जाएगा और "कोच" तकनीक चयन ### : शायद हम या तो इस्तेमाल करेंगे: वाक्य- स्केल्स **[मॉडल (NX रन समय पर चल रहा है C# में)](https://docs.microsoft.com/en-us/dotnet/desktop/wpf/)** - ✅ Mature, stable, lots of resources - ✅ Native Windows performance - ❌ Windows-only - ❌ Looks dated unless you invest in UI libraries **[कृत्रिमता मॉडलों को खोलता है (एओएओ)](https://avaloniaui.net/)** - ✅ Cross-platform (XAML-based) - ✅ Modern, actively developed - ✅ Similar to WPF - ❌ Smaller ecosystem **[BG मॉडल](https://dotnet.microsoft.com/en-us/apps/maui)** - ✅ Cross-platform - ✅ Microsoft-backed - ❌ Still maturing - ❌ More mobile-focused (कन- ऑफ-में- eueuk- open स्रोत)**3[सदिश डाटाबेस](https://github.com/Kinnara/ModernWpf)**वेक्टर डाटाबेस स्टोर्डिंग तथा तीव्र समानता खोज सक्षम करता है.**जब आप के बारे में लिख रहे हैं "कोराइट" के बारे में, यह सबसे अधिक इसी तरह की पिछली सामग्री को खोजता है, लेकिन सामान्य रूप से संबंधित जानकारी।**तकनीक चयन ### : हम मूल्यांकन करेंगे: स्केल्स - - आधुनिक, सी# क्लाएंट, डॉक-करी में लिखा गया है - पीगवर्टर - - एसक्यूएल के लिए विस्तार (हम पहले से ही पोस्टग्रिस का उपयोग कर रहे हैं!) - वेविएटर **- अच्छा समर्थन के साथ एक और ठोस विकल्प**: **[क्रोमाperu. kgm](https://onnxruntime.ai/)** - - पायथन ज़मीन में मशहूर, C# में तो कम - मैं अपने सरल और प्रदर्शन के लिए क्यूडमेंट की ओर झुका हुआ हूँ, या pgideor के लिए सब कुछ पोस्टरों में रखने के लिए। - 4. - विंडोज़ क्लाएंट **[हम एआई मदद के साथ लिखने के लिए एक अच्छा यूआई की जरूरत है.](https://github.com/ggerganov/llama.cpp)सुझावों के साथ विभाजित संपादक को सोचें.** - विकल्प:[ब्राउज़िंग (विंडोज़ प्रस्तुतिकरण आधार)](https://github.com/SciSharp/LLamaSharp)) - आवाही - मायूयूआई (मल्टी- डिप्लिकिक्स यूआई) - क्योंकि हम विंडोज़ के बारे में सोच रहे हैं और मैं कुछ स्थिर चाहते हैं, मैं की ओर झुक रहा हूँ **[इसके साथ डील करें](https://github.com/dotnet/TorchSharp)** - आधुनिक- विंडो मार्च यूआई - या - आवाही कि क्रास-प्लेटो क्षमता के लिए.**5.**स्थानीय डाउनलोड ### यह वह जगह है जहाँ A4000 जीपीप चमकता है. हम स्थानीय स्तर पर चलाना चाहते हैं: - गोपनीयता (कोई डाटा को एपीआईओं में नहीं भेजा गया) - गति ( इंच तेज है) - खर्च (कोई एपीआई भुगतान नहीं) - नियंत्रण (हम मॉडल चयन) तकनीक विकल्प - ऑन NNX रन समय - मॉडल को पर परिवर्तित करेंNX फॉर्मेट - बढ़िया जीपीयू त्वरण - C# देशी समर्थन ### नीचे: सभी मॉडल अच्छे नहीं होते विलमा. बीपीपी - बाइंडिंग - सी# बाइंडिंग के साथ सी++ लाइब्रेरी (W) - एलएचएआ तीव्र - सीयूडीए समर्थन - संपूर्ण मॉडल समर्थन (ललाला, मिस्जर, आदि) बहुत सक्रिय विकास ## कोंस्फीयर .नेटटी के लिए पिक बाइंडिंग 1. **बहुत - सी पेशियाँ**जहाज सीखने वाला वक्र 2. **मैं की ओर झुक रहा हूँ**एलएचएआ तीव्र 3. **अपनी प्रौढ़ता के लिए और लोकप्रिय मॉडलों के साथ इस्तेमाल करने के लिए।**6. 4. **कॉन्टेक्स्ट विंडो प्रबंधन इंजीनियरिंग संकेत दें (r)**BLMM के पास सीमित संदर्भ विंडो हैं (जैसे, 4K, 8K, 32K निशानियाँ). 5. **हमें चाहिए:**सबसे ऊपर दिए गए अंशों को छाँटा जाए (जैसे सदिश खोज से ऊपर) ## उन्हें मौजूदा मसौदा के साथ संदर्भ विंडो में फिट करें मदद लिखने के लिए प्राम्प्ट स्ट्रक्चर ### सुझावों के लिए जगह छोड़ दें - **यह ध्वनि की तुलना में चाल है.**हम ऐसी योजनाओं की जाँच करेंगे: - **गतिशील के- चयन जो आप अभी लिख रहे हैं उस पर आधारित**री- ब्रेकिंग री- ब्रेकिंग द्वारा री- ब्रेकिंग ### संदर्भ को बुद्धिमान रूप से संपीडित कर रहे हैं - **[अतीत के पोस्टों से उदाहरणों के साथ व्यवहार किया गया](https://onnxruntime.ai/)**7.**[प्रशस्ति-पत्र को कड़ीबद्ध करें (T)](https://github.com/SciSharp/LLamaSharp)**प्रत्येक फिर से मेटाडाटा की जरूरत है: - **[स्रोत फ़ाइल/ पांव](https://dotnet.microsoft.com/en-us/apps/machinelearning-ai/ml-dotnet)**मूल दस्तावेज़ में स्थिति - **प्रकाशन तारीख़**कोटियाँ ### कोड प्रयुक्त - **[जब TLM सुझाव बनाता है, हम स्रोत पोस्टों के लिए नीचे के लिंक बनाते हैं और फिर से योग्य कोड पैटर्न की पहचान करते हैं.](https://qdrant.tech/)**क्या बात इसे अलग बनाती है?**[इसमें रेजी शिक्षण के ढेर सारे हैं, लेकिन यह श्रृंखला अलग होगी:](https://github.com/pgvector/pgvector)**C# प्रथम ### - अधिकांश RAG उदाहरण पायथन में हैं. - **हम पूरी तरह से जा रहे हैं.**विंडोज़ व जीपीयूComment**- लंदन निक्सिया CUNDL पर, लिनक्स/WLL**उत्पाद तैयार**[- सिर्फ सबूत नहीं है, लेकिन वास्तविक प्रयोग किया गया कोड](https://avaloniaui.net/)**डोमेन विशेष ### - ब्लॉग लिखने के लिए अनुकूलित, जेनेरिक सामग्री बनाने की पीढ़ी नहीं - **[गहन विवरण](https://github.com/xoofx/markdig)**- हम वास्तव में समझा देंगे "क्यों" निर्णय के पीछे - **[तकनालॉज़ी हम उपयोग करेंगे](https://www.docker.com/)**मैं योजना बना रहा हूँ यहाँ तकनीक स्टैक है: - **[कोर फ्रेमवर्क](https://docs.microsoft.com/en-us/ef/core/)**.नेट 9 ### (जब लेखन के समय परलेट करें) - **[C# 13](https://developer.nvidia.com/cuda-toolkit)- आधुनिक भाषा विशेषताएँ**एआई/एमएल लाइब्रेरी - **[ऑन NNX रन समय](https://developer.nvidia.com/cudnn)**या ## एलएचएआ तीव्र - समझा जाता है ### माइक्रोसॉफ़्ट.एमएल - **- कुछ कार्यों के लिए संभावित रूप से**वाक्य रचना ऑन पर आधारित - **- एम्बेडिंग**सदिश डाटाबेस - **स्केल्स**या - **पीगवर्टर**- पक्का करने के लिए ### यूआई फ्रेमवर्क - **डब्ल्यूट**के साथ - **आधुनिक सरकशी**या - **आवाही**- आधुनिक डेस्कटॉप यूआई ### औज़ारों को समर्थित करता है - **सिगिग**- पहले से ही चिह्नित करने के लिए इस का उपयोग कर - **डॉकर**- चलाने के लिए या अन्य सेवाओं के लिए - **एंटिटी फ्रेमवर्क कोर**- हम pagvor का उपयोग करें - **जीयूपी स्टैक**सीयूडीए ### 12.x - **(जब लेखन के समय परलेट करें)**beninn - **- गहरा सीखने का पुरातन**परफ़ॉर्मेंस पर ध्यान दें - **भिन्न हार्डवेयर सेटअप में अलग क्षमता होगी:**8GB वीरैम के साथ ( न्यूनतम) - **मॉडल आकार**: Q4 कवरीकरण के साथ 7B पैरामीटर मॉडल ## बैच प्रक्रिया : छोटी - छोटी शीटों में अंतर्निर्मित प्रक्रिया 1. मेमोरी प्रबंधन 2. : ध्यानपूर्ण वर्मिंग की ज़रूरत 3. के लिए अच्छी तरह काम करता है 4. : लेखन सहायक, अंतर्निर्मित पीढ़ी 5. 12GB+ वीरैम के साथ (Comet) 6. मॉडल आकार : 7B उच्च गुणवत्ता के साथ (Q5/Q6) ## बैच प्रक्रिया : तेजी से पैकिंग के लिए बड़ा निशान**[भी चालू कर सकते हैं](/blog/building-a-lawyer-gpt-for-your-blog-part2)**: अपराधीता के साथ कुछ १३बी मॉडल - 16GB+ वीरैम के साथ (मेरा सेटअप) - मॉडल आकार - : 7B-13 ईमेल मॉडल आराम - बैच प्रक्रिया - : पूरा बैच, न्यूनतम प्रतिबंध तेज इंच ## : उप- द्वितीय जवाब समय हेडरूम - **: अलग - अलग मॉडलों का पता लगा सकते हैं**सीपीयू- सिर्फ (फ़ॉक्स) - **सभी काम**, बस धीमा - **एम्बेडिंग**पीयूयू से 5- 10x धीमा - **अनंतता**जीयूपी से 10-50x धीमा - **फिर भी प्रयोग करें**: धीरज के साथ लिखने के लिए! विकास संदर्भ ## हम इस वृद्धि की तरह निर्माण करेंगे: छोटे घटकों के साथ प्रारंभ करें (मार्क नीचे पढ़ने, फिर से कोशिश कर रहा है) अंतर्निर्मित पीढ़ी जोड़ें (स्थानीय होने से पहले एपीआई- आधारित भाषा में प्रारंभ हो सकता है) सदिश खोज काम करें मूल यूआई बिल्ड करें ## एकीकृत - **पोलिश तथा एम्बिएंट**हर भाग पर तैनात किया जाएगा और अपने दम पर जांच योग्य होगा. - [कोई बड़ा हिस्सा एकीकरण सपना नहीं है.](/blog/building-a-lawyer-gpt-for-your-blog-part2) - [अगला क्या है?](/blog/building-a-lawyer-gpt-for-your-blog-part3) - [में](/blog/building-a-lawyer-gpt-for-your-blog-part4) - [पार्ट 2: जीपीयू सेटअप सीयूडीडीक में C# में (G)](/blog/building-a-lawyer-gpt-for-your-blog-part5) - [, हम जीपिय सेटअप के साथ हाथ-पर मिल जाएगा:](/blog/building-a-lawyer-gpt-for-your-blog-part6) - [सीयूडी तथा एक्सपोजर को विंडोज़ पर संस्थापित किया जा रहा है](/blog/building-a-lawyer-gpt-for-your-blog-part7) - [विकास वातावरण सेट किया जा रहा है](/blog/building-a-lawyer-gpt-for-your-blog-part8) ## जीयूपी पहुँच की जांच करने के लिए एक सरल सी# प्रोग्राम लिखा जा रहा है एनएनएक्स रन समय के साथ एक मूल अनंत परीक्षण चलाना - [हमारे A4000 को समझने के लिए बेकचिंग हम क्या कर सकते हैं](https://onnxruntime.ai/) - [यह शायद बुनियादी लग सकता है, लेकिन जीयूपी का ढेर सही है ।](https://github.com/SciSharp/LLamaSharp) - [मैं घंटे डिबगिंग मुद्दों को बर्बाद कर दिया है जो संस्करण बेमेल है या गुम है.](https://qdrant.tech/documentation/) - [ऐसा क्यों?](https://www.sbert.net/) - [एक शांत परियोजना होने के अलावा, इस कार्य में वास्तविक अनुप्रयोग हैं:](https://www.anthropic.com/index/contextual-retrieval) तकनीकी दस्तावेज़ीकरण[- बड़े डोस्क सेट के पार सतत शैली बनाए रखना](/blog/building-a-lawyer-gpt-for-your-blog-part2)!