Back to "अपने ब्लॉग - पार्ट १: परिचय (p)"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI AI-Article C# LLM mostlylucid.blogllm RAG

अपने ब्लॉग - पार्ट १: परिचय (p)

Wednesday, 12 November 2025

चेतावनी: ये तो डीआरफ्लिक हैं जो 'के साथ गलत' है.

यह शायद नीचे क्या काम नहीं करेगा, मैं इन्हें बनाने के लिए कैसे और फिर सभी कदमों के रूप में और काम करने के लिए एक नमूना ऐप मिलता है... तुम चुपके से किया गया है और उन्हें देखा है! वे शायद मध्य-बार के लिए तैयार हो जाएगा.

## परिचय

हंस क्योंकि यह एक लंबी श्रृंखला होने जा रहा है!

यदि आप इस ब्लॉग के साथ पीछा किया गया है, तो आप जानते हैं कि मैं दिलचस्प तरीके से काम करने के लिए दिलचस्प तरीके खोज रहा हूँ।

खैर, मैं एक नई परियोजना मिल गया है कि चिट्ठाकारी, सी# और एआई के मेरे प्यार को साझा करता है: एक लेखन सहायक बनाने में मेरी मदद करता है कि एक नया ब्लॉग पोस्टों को एक ज्ञान आधार के रूप में मेरी मौजूदा सामग्री का उपयोग करने में मदद करता है।

ध्यान दें: यह एआई के साथ मेरे परीक्षण का हिस्सा है (जैसे कि मेरे स्वयं का संपादन).

  • उसी आवाज़ की तरह, उसी आवाज़ में एक - दूसरे का हाथ होता है; सिर्फ तेज़ उंगलियों को ।
  • इस बारे में सोचिए कि कानून के मुताबिक कानून के मुताबिक छोटे - छोटे काम कैसे किए जा सकते हैं ।
  • वे scrat - प्रणाली संदर्भों से शुरू नहीं करते, पिछले दस्तावेज़ों पर आधारित भाषा सुझाव देती है, और स्थापित पैटर्नों के साथ सुसंगतता बनाए रखता है.
  • यही कारण है कि हम यहाँ निर्माण कर रहे हैं, लेकिन ब्लॉग सामग्री के लिए।
  • लक्ष्य है कि एक एआई- शक्ति युक्त लेखन सहायक:

मेरी स्थापित शैली में नए ब्लॉग पोस्टों की मदद करता हैसंदर्भ के लिए पिछले आलेखों से संबंधित विषय को सलाह देता हैसुसंगतता बनाए रखने के लिए समान पोस्टों को ढूंढें

संबंधित आलेखों से आंतरिक लिंक स्वचालित बनाएँ

प्रेरितों की तरह अपने ब्लॉग के लिए "ज्वॉट"

  • इस श्रंखला का पूरा निर्माण पूरा होगापुनःप्राप्त किया जा रहा Agltipt (RG)
  • **C# में तंत्र जो विंडोज़ पर चलता है.**हम नवीनतम दृष्टिकोण और फ्रेमवर्क उपयोग करेंगे, और मैं हर नई तकनीक को समझा देंगे जब हम इसे सामना करते हैं.
  • **मेरा हार्डवेयर सेटअप (और न्यूनतम स्पिक्स)**मेरे विकास मशीन:

जीपीयू**: NVIIAR RTX A4000 (16GB वीरैम)**सीपीयू

: अएमई आरन 950X

  • रैम: 96GB डीआर5
    • यह मेरा विशेष सेटअप है, लेकिन आप
    • इस हार्डवेयर की जरूरत नहीं है
  • **साथ का पालन करने के लिए।**यहाँ भिन्न अवयव के लिए न्यूनतम परत हैं:
    • जीयूपीएब्लिया (अनुप्रयोगित, जरूरी नहीं)
  • न्यूनतम: NVIIDERAGGU 8GB वीथ के साथ (जैसे, RTX60, GT270BBBBB)

7B पैरामीटर ऋण के साथ मॉडल चला सकते हैं

  • हाल ही में अंतर्निर्मित पीढ़ी गतिसांत्वनायोग्य
  • **: 12GB+ वोथ (उदा. ई.**बड़े मॉडल या उच्च गुणवत्ता के अनुकूल दौड़ें
  • मेरा सेटअप
    • : 16GB (A4000) - 13BR) मॉडलों को आराम से चला सकते हैं
    • सीपीयू- सिर्फ वैकल्पिक
    • न्यूनतम

: आधुनिक टाइटेरियन सीपीयू

  • अनुशंसित: 8+ कोर (प्रचलित पीढ़ी के लिए)
    • जो कुछ सिर्फ सीपीयू पर काम करता है, सिर्फ धीमे:
  • अंतर्निर्मित पीढ़ी: ~ 5- 10x धीमागंभीरता: ~ 10-50x धीमा
    • फिर भी एक लेखन सहायक के लिए पूरी तरह से प्रयोग किया गया!
  • रैम रैमन्यूनतम

16: 16GB सिस्टम रैम

  • 7B मॉडलों के लिए सिर्फ सीपीयू मेंसांत्वनायोग्य
  • : 32GBसीपीयू पर बड़े मॉडल के लिए बेहतर

मेरा सेटअप

: 96GB - अधिक काम, 32GB बहुत है

  • भंडारणएसडीडी
  • : मॉडल लोड करने के लिए अनुशंसितखाली जगह
  • : ~20GB मॉडल तथा सदिश डाटाबेस के लिएAndel/AmPUs के बारे में क्या?

**आधुनिक सीपीयू अब समर्पित एआई त्वरक शामिल हैं:*क्लेरल कोर यूलर(मर्क झील+) - इनेल एआई बूस्ट (एनपीयूपीयू)*एएम आरनेनियन एआई

(70/8040 क्रम) - Xen NPU

  • ✅ Great for: On-device inference, battery efficiency (laptops)
  • ⚠️ Limited for our use: Immature .NET/ONNX Runtime support
  • ❌ Not ready for: This project's primary path

AMM Rynian एआई मैक्स

  1. (स्ट्रिक्स बिन्दु) - 50 से ऊपरमहत्वपूर्ण: NPUUs केवल जोखिम के लिए हैं!
  2. आप NPUS पर " निर्माण" या ट्रेन मॉडल नहीं है - वे करने के लिए बनाया गया हैचलाने के लिए
  3. **पूर्व मॉडल अच्छी तरह से प्रशिक्षित।**बादलों में मॉडलों को प्रशिक्षित किया जाता है (या कार्य), तो डाउनलोड किया जाता है और NPUPUs के लिए NPUPUs के लिए तैनात किया जाता है।
  4. **एनयूपीएस पर चलाने के लिए वर्तमान स्थिति (के रूप में):**क्यों न इस श्रृंखला के लिए NPUUUs?
  5. सॉफ्टवेयर पर्यावरण: CUND में 15+ साल प्रौढ़ता का है, NPU समर्थन . NNT है nsent

मॉडल संगतता

  • : ज़्यादातर जीजीएफ मॉडल सीयू/ सीयूयूयू, NPUCP- अप मॉडलों की संख्या बहुत कम हैदस्तावेज़ीकरण: C# में एनयू विकास के लिए संसाधनों की सीमा
  • परफार्मेंस
  • : हमारे भार के लिए वर्तमान में धीमी गति से
  • प्रत्यक्षएमएल समर्थन

: अभी भी प्रयोग की गई जानकारी

# Use DirectML execution provider (supports NPU)
dotnet add package Microsoft.ML.OnnxRuntime.DirectML

# In code:
var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider("DML"); // DirectML
var session = new InferenceSession("model.onnx", sessionOptions);

**आप अनंतता के लिए NPUUs का उपयोग कर सकते हैं?**हाँ, लेकिन:आवश्यकताएँप्रत्यक्षएमएलएनएनएक्स रन समय में चलाएँमॉडल्स पर होना आवश्यक है (GGUF)

C# समर्थन उपयोग में हैपरफ़ॉर्मेंस वर्तमान में उपलब्ध है वी. सीयूडीए

NPU को कैसे कोशिश करें (एक सामान्य उपयोक्ता:):

भविष्य के बारे में

  1. : एक बारऑन NNX रन समय
  2. औरप्रत्यक्षएमएल
  3. **प्रौढ़ उनका NPU समर्थन (जैसे 2024-2025), ये सहजता के लिए व्यावहारिक विकल्प बन जाएगा!**निचला लकीर
  4. **: मैं Gugue-पी-पीपीव मार्ग दिखाता हूँ, लेकिन पूरे प्रकार से सीपीयू-सिर्फ विकल्प नोट करेंगे.**आप सिर्फ सीपीयू प्रारंभ कर सकते हैं तथा बाद में उन्नयन कर सकते हैं!
  5. हम क्या बना रहे हैंअंतिम तंत्र में कई अवयव होंगे:
  6. घड़ी की विपरीत दिशा में (t)- सभी ब्लॉग पोस्टों को प्रोसेस करता है, उन्हें बुद्धिमान रूप से अलग करता है, और स्कैनिंग तैयार करता है

सदिश डाटाबेस

- स्कैनिंग और समान सामग्री के लिए खोज सक्षम करता है

विंडो क्लाएंट अनुप्रयोग

    • एक डेस्कटॉप लेखन सहायक यूआई संपादक तथा सुझाव फलक के साथ
  • संयोजन

    • सामग्री की पीढ़ी के लिए स्थानीय जीपीपीपी-पीपीएन्स
  • प्रशस्ति-पत्र को कड़ी तैयार करें (m)

  • इससे संबंधित पोस्टों के आंतरिक लिंक तथा संदर्भ

  • स्टाइल संगतता इंजिन

    • आवाज तथा संरचना को बनाए रखने के लिए मौजूदा पोस्टों से पैटर्न सिखे
  • इसके बारे में सोचो "Guallikikiky मिलता है" लेकिन विशेष रूप से अपने ब्लॉग की सामग्री और शैली पर प्रशिक्षित.

  • क्यों "लेर्स"?

  • आज के कानून, कानून के बड़े - बड़े पुस्तकालयों में प्रशिक्षित किए गए हैं ताकि वे कानूनी दस्तावेज़ों की मदद कर सकें ।

एक चाल लिखने के दौरान, तंत्र:

संदर्भ संबंधित पूर्वनिर्धारितता तथा पिछला आर्गुमेंट सफल हैं

भाषा के नमूने सुझाव देती है कि इससे पहले काम किया गया है

कानूनी लेखन मानकों के साथ संगति बनाए रखता है

स्रोत स्वचालित वर्णन करें

यह हमारी मॉडल है.

जब मैं लिखना शुरू करता हूँ "के लिए एंटिटी फ्रेमवर्क.", तंत्र को होना चाहिए:मेरा पिछला ईएफएफ से जुड़ा पोस्ट ढूंढें, सुझाव: मैं पहले इस्तेमाल किया है पैटर्न सलाह देंपिछले आलेखों से संबंधित फ़ाइलों को प्रस्तुत करें

संबंधित पोस्ट से स्वचलित लिंक

अपनी लेखन शैली और तकनीकी गहराई को बनाए रखिएजेनेरिक एआई लेखन सहायक से विपरीत, हमारा सिस्टम वास्तविक अतीत की सामग्री में आधारभूत है, तो यह उन बातों का सुझाव नहीं देंगे जो मैंने पहले से ही लिखी हैं.श्रेणी ओवरव्यूयहाँ हम आ रहे सप्ताह के ऊपर कवर करेंगे क्या है:).

पार्ट 1 (यह पोस्ट: परिचय)

हम स्थापित कर देंगे कि हम क्या निर्माण कर रहे हैं और क्यों, और इसके अलावा भवनीय निर्णयों को कवर करेंगे.

पार्ट 2: जीपीयू सेटअप सीयूडीडीक में C# में (G)

जीयूपीयू-कैप्टर के लिए विंडोज़ स्थापित किया जा रहा है एआई कार्य लोड किया जा रहा है, संस्थापित किया जा रहा हैसीयूडीए, beninn, और कि C# वास्तव में देख सकते हैं और अपने जीपी का उपयोग कर सकते हैं कि जाँच.भाग ३: सामान्य समझ जो सदिश व डाटाबेस को शामिल करती हैगहरे रूप में जो अंतर्निर्मित वास्तव में है में, वे कैसे sulting खोज सक्षम करते हैं, और सही वेक्टर डाटाबेस चुनने के लिए: हम शायद इस्तेमाल करेंगे

स्केल्स

यापीगवर्टर, पार्ट ४: १९ - १९.प्रक्रिया फ़ाइलों को नीचे कर रहा है, बुद्धिमान विवेकी नीतियाँ (आप सिर्फ पैराग्राफ पर विभाजित नहीं कर सकते) और हमारी सभी सामग्री के लिए अंतर्निर्मित बनाया जा रहा है.

पार्ट 5: विंडोज़ क्लाएंट

दायाँ फ्रेमवर्क का चयन करें (ए)

डब्ल्यूट

आवाही

, या

मायूआई

? , यूआई बनाने और इसे वास्तव में इस्तेमाल करने के लिए सुखद बनाने.

भाग ६: स्थानीय संयोजन

  1. स्थानीय उपयोग से मॉडल चल रहा हैऑन NNX रन समय
  2. विलमा. बीपीपीबाइंडिंग, या अन्य दृष्टिकोण.
  3. **यह A4000 का पूरा उपयोग कर रहे हैं!**पार्ट 7: सामग्री बनाना बनाने की इंजीनियरिंग की पूर्वसूचना देता है (g)
  4. **यह सब एक साथ - साथ लाने के लिए ज़रूरी सामग्री, संदर्भ विंडो प्रबंधन के लिए, लिखने के लिए प्रायोगिक इंजीनियरिंग, और कोरपूर्ण सुझाव तैयार करने के लिए लाया जा रहा है ।**भाग ८: विस्तृत विशेषताएँ व उत्पादन सहायक
  5. **संबंधित पोस्ट से स्वचलित लिंकिंग, शैली संगतता जांच, कोड साफ करने तथा तंत्र को वाक़ई दैनिक लेखन के लिए उपयोगी बनाया जा रहा है.**रेजी क्यों?

इससे पहले कि हम बनावट में रंगने से पहले, हम Reg (Regigirig) क्यों के बारे में बात करते हैं, सही तरीका है यहाँ है.

अच्छी तरह से दोष के साथ समस्या

आप शायद सोचें: "क्यों न सिर्फ सभी ब्लॉग पोस्टों पर अच्छी तरह से दोष लगाने के लिए"? ऐसे कई विषय हैं:

  1. लागत व जटिलता
    • अच्छी तरह से तैयार करना महँगी है (दोनों की गणना और प्रयास में)
  2. स्टेलापन
    • हर नए ब्लॉग पोस्ट का अर्थ है फिर से अभ्यास करना
  3. ब्लैक बक्सा
  • मॉडल " सीख लिया" को समझने के लिए कठिन है

  • ✅ Always up-to-date (just re-index new posts as you write them)

  • ✅ Grounded in your actual writing (maintains consistency)

  • ✅ Traceable (know which past posts influenced suggestions)

  • ✅ Efficient (no expensive retraining for every new post)

  • ✅ Flexible (can swap out LLMs or adjust search strategies)

  • ✅ Privacy-preserving (everything runs locally)

हाल ही में सजग होइए!

  • कोई गारंटी नहीं है मॉडल कुछ भी नहीं करेगा
graph TB
    A[Markdown Files] -->|Ingest| B[Chunking Service]
    B -->|Text Chunks| C[Embedding Model]
    C -->|Vectors| D[Vector Database]

    E[User Writing] -->|Current Draft| F[Windows Client]
    F -->|Embed Context| C
    C -->|Query Vector| D
    D -->|Similar Content| G[Context Builder]

    G -->|Relevant Past Articles| H[Prompt Engineer]
    H -->|Prompt + Context| I[Local LLM]
    I -->|Generated Suggestions| J[Link Generator]
    J -->|Suggestions + Citations| F

    F -->|Display| K[Editor with Suggestions]

    class C,I embedding
    class D,K output

    classDef embedding stroke:#333,stroke-width:4px
    classDef output stroke:#333,stroke-width:4px

प्रशस्ति-पत्र को नहीं

  • आसानी से ट्रेस उत्तर स्रोत में वापस नहीं जा सकते

  • RAG इसे कैसे हल करता है

  • RAG दोनों दुनिया की सबसे अच्छी तरह से जोड़ता है: संदर्भ - स्पष्ट सामग्री बनाने के लिए खोज की क्षमता के साथ.

  • प्रवाह है:

  • उपयोक्ता लिखना शुरू करता है (जैसे, "केसंपिक के साथ एक पुनःसंत्र बनाना")

  • तंत्र को समान पिछले लेखों की यथार्थता से खोज आती है

तंत्र फीड तुमसे संबंधित वस्तु को लीएम के संदर्भ के रूप में दिखाता हैTLM सुझाव बनाता है पिछले विषयवस्तु के आधार पर जारी/ रद्दीकरण

तंत्र में स्रोत पोस्टों के संदर्भों के लिए सुझाव दिए गए हैं

इसका अर्थ है:

तंत्र यूनीक्यूशन

मुझे कुंजी घटकों को तोड़ दो हम निर्माण हो जाएगा:

  • 1 ..
  • घड़ी की विपरीत दिशा में (t)

**यह अवयव:**ब्लॉग डिरेक्ट्री से फ़ाइलों को पढ़ा जा रहा है

: बहुत बड़ी रणनीति के मामले ।

बहुत छोटा है और आप संदर्भ खो देते हैं.

**बहुत बड़ा है और आप LLL के संदर्भ विंडो बर्बाद.**हमें ऐसे बदलाव करने की ज़रूरत है, जो एक पूर्ण विचार या खण्ड हैं, और इसका मतलब यह नहीं कि कोई सीधा अनुच्छेद टूटता है ।

तकनीक चयन

: शायद हम या तो इस्तेमाल करेंगे:

वाक्य- स्केल्स

मॉडल (NX रन समय पर चल रहा है C# में)

  • ✅ Mature, stable, lots of resources
  • ✅ Native Windows performance
  • ❌ Windows-only
  • ❌ Looks dated unless you invest in UI libraries

कृत्रिमता मॉडलों को खोलता है (एओएओ)

  • ✅ Cross-platform (XAML-based)
  • ✅ Modern, actively developed
  • ✅ Similar to WPF
  • ❌ Smaller ecosystem

BG मॉडल

  • ✅ Cross-platform
  • ✅ Microsoft-backed
  • ❌ Still maturing
  • ❌ More mobile-focused

(कन- ऑफ-में- eueuk- open स्रोत)**3सदिश डाटाबेस**वेक्टर डाटाबेस स्टोर्डिंग तथा तीव्र समानता खोज सक्षम करता है.**जब आप के बारे में लिख रहे हैं "कोराइट" के बारे में, यह सबसे अधिक इसी तरह की पिछली सामग्री को खोजता है, लेकिन सामान्य रूप से संबंधित जानकारी।**तकनीक चयन

: हम मूल्यांकन करेंगे:

स्केल्स

    • आधुनिक, सी# क्लाएंट, डॉक-करी में लिखा गया है
  • पीगवर्टर
    • एसक्यूएल के लिए विस्तार (हम पहले से ही पोस्टग्रिस का उपयोग कर रहे हैं!)
  • वेविएटर

- अच्छा समर्थन के साथ एक और ठोस विकल्प:

क्रोमाperu. kgm

    • पायथन ज़मीन में मशहूर, C# में तो कम
  • मैं अपने सरल और प्रदर्शन के लिए क्यूडमेंट की ओर झुका हुआ हूँ, या pgideor के लिए सब कुछ पोस्टरों में रखने के लिए।
  • विंडोज़ क्लाएंट

हम एआई मदद के साथ लिखने के लिए एक अच्छा यूआई की जरूरत है.सुझावों के साथ विभाजित संपादक को सोचें.

इसके साथ डील करें

  • आधुनिक- विंडो मार्च यूआई
  • या
  • आवाही

कि क्रास-प्लेटो क्षमता के लिए.**5.**स्थानीय डाउनलोड

यह वह जगह है जहाँ A4000 जीपीप चमकता है.

हम स्थानीय स्तर पर चलाना चाहते हैं:

  • गोपनीयता (कोई डाटा को एपीआईओं में नहीं भेजा गया)
  • गति ( इंच तेज है)
  • खर्च (कोई एपीआई भुगतान नहीं)
  • नियंत्रण (हम मॉडल चयन)

तकनीक विकल्प

  • ऑन NNX रन समय
  • मॉडल को पर परिवर्तित करेंNX फॉर्मेट
  • बढ़िया जीपीयू त्वरण
  • C# देशी समर्थन

नीचे: सभी मॉडल अच्छे नहीं होते

विलमा. बीपीपी

  • बाइंडिंग
  • सी# बाइंडिंग के साथ सी++ लाइब्रेरी (W)
  • एलएचएआ तीव्र
  • सीयूडीए समर्थन
  • संपूर्ण मॉडल समर्थन (ललाला, मिस्जर, आदि)

बहुत सक्रिय विकास

कोंस्फीयर

.नेटटी के लिए पिक बाइंडिंग

  1. बहुत - सी पेशियाँजहाज सीखने वाला वक्र
  2. मैं की ओर झुक रहा हूँएलएचएआ तीव्र
  3. **अपनी प्रौढ़ता के लिए और लोकप्रिय मॉडलों के साथ इस्तेमाल करने के लिए।**6.
  4. **कॉन्टेक्स्ट विंडो प्रबंधन इंजीनियरिंग संकेत दें (r)**BLMM के पास सीमित संदर्भ विंडो हैं (जैसे, 4K, 8K, 32K निशानियाँ).
  5. **हमें चाहिए:**सबसे ऊपर दिए गए अंशों को छाँटा जाए (जैसे सदिश खोज से ऊपर)

उन्हें मौजूदा मसौदा के साथ संदर्भ विंडो में फिट करें

मदद लिखने के लिए प्राम्प्ट स्ट्रक्चर

सुझावों के लिए जगह छोड़ दें

  • **यह ध्वनि की तुलना में चाल है.**हम ऐसी योजनाओं की जाँच करेंगे:
  • गतिशील के- चयन जो आप अभी लिख रहे हैं उस पर आधारितरी- ब्रेकिंग री- ब्रेकिंग द्वारा री- ब्रेकिंग

संदर्भ को बुद्धिमान रूप से संपीडित कर रहे हैं

कोड प्रयुक्त

- अधिकांश RAG उदाहरण पायथन में हैं.

- ब्लॉग लिखने के लिए अनुकूलित, जेनेरिक सामग्री बनाने की पीढ़ी नहीं

(जब लेखन के समय परलेट करें)

एलएचएआ तीव्र

  • समझा जाता है

माइक्रोसॉफ़्ट.एमएल

  • - कुछ कार्यों के लिए संभावित रूप सेवाक्य रचना ऑन पर आधारित
  • - एम्बेडिंगसदिश डाटाबेस
  • स्केल्सया
  • पीगवर्टर- पक्का करने के लिए

यूआई फ्रेमवर्क

  • डब्ल्यूटके साथ
  • आधुनिक सरकशीया
  • आवाही- आधुनिक डेस्कटॉप यूआई

औज़ारों को समर्थित करता है

  • सिगिग- पहले से ही चिह्नित करने के लिए इस का उपयोग कर
  • डॉकर- चलाने के लिए या अन्य सेवाओं के लिए
  • एंटिटी फ्रेमवर्क कोर- हम pagvor का उपयोग करें
  • जीयूपी स्टैकसीयूडीए

12.x

  • **(जब लेखन के समय परलेट करें)**beninn
  • - गहरा सीखने का पुरातनपरफ़ॉर्मेंस पर ध्यान दें
  • **भिन्न हार्डवेयर सेटअप में अलग क्षमता होगी:**8GB वीरैम के साथ ( न्यूनतम)
  • मॉडल आकार: Q4 कवरीकरण के साथ 7B पैरामीटर मॉडल

बैच प्रक्रिया

: छोटी - छोटी शीटों में अंतर्निर्मित प्रक्रिया

  1. मेमोरी प्रबंधन
  2. : ध्यानपूर्ण वर्मिंग की ज़रूरत
  3. के लिए अच्छी तरह काम करता है
  4. : लेखन सहायक, अंतर्निर्मित पीढ़ी
  5. 12GB+ वीरैम के साथ (Comet)
  6. मॉडल आकार

: 7B उच्च गुणवत्ता के साथ (Q5/Q6)

बैच प्रक्रिया

: तेजी से पैकिंग के लिए बड़ा निशान**भी चालू कर सकते हैं**: अपराधीता के साथ कुछ १३बी मॉडल

  • 16GB+ वीरैम के साथ (मेरा सेटअप)
  • मॉडल आकार
  • : 7B-13 ईमेल मॉडल आराम
  • बैच प्रक्रिया
  • : पूरा बैच, न्यूनतम प्रतिबंध

तेज इंच

: उप- द्वितीय जवाब समय

हेडरूम

  • : अलग - अलग मॉडलों का पता लगा सकते हैंसीपीयू- सिर्फ (फ़ॉक्स)
  • सभी काम, बस धीमा
  • एम्बेडिंगपीयूयू से 5- 10x धीमा
  • अनंतताजीयूपी से 10-50x धीमा
  • फिर भी प्रयोग करें: धीरज के साथ लिखने के लिए!

विकास संदर्भ

हम इस वृद्धि की तरह निर्माण करेंगे:

छोटे घटकों के साथ प्रारंभ करें (मार्क नीचे पढ़ने, फिर से कोशिश कर रहा है)

अंतर्निर्मित पीढ़ी जोड़ें (स्थानीय होने से पहले एपीआई- आधारित भाषा में प्रारंभ हो सकता है)

सदिश खोज काम करें

मूल यूआई बिल्ड करें

एकीकृत

जीयूपी पहुँच की जांच करने के लिए एक सरल सी# प्रोग्राम लिखा जा रहा है

एनएनएक्स रन समय के साथ एक मूल अनंत परीक्षण चलाना

तकनीकी दस्तावेज़ीकरण- बड़े डोस्क सेट के पार सतत शैली बनाए रखना!

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.