# अपने ब्लॉग - अच्छा कवरिंग विकल्प के लिए एक "लेवर" निर्माण: Qdver और नर्स ऑनलाइन के साथ ## परिचय मेरे में[8- भाग "लेवर जीने" श्रृंखला](/blog/building-a-lawyer-gpt-for-your-blog-part1), मैंने आपको दिखाया कि कैसे GuPP-G आधारित लेखन सहायक के रूप में GULLLM, और सदिश डाटाबेस के उपयोग से एक पूर्ण स्थानीय RG-G-G आधारित लेखन सहायक बनाने के लिए। यह शक्तिशाली, निजी है, और पूरी तरह से अपने हार्डवेयर पर चलाता है. लेकिन हर किसी को ईमानदार नहीं होना चाहिए एक NVIIDia, रैम के 96z के साथ, और CULA को स्थापित करने के लिए धैर्य, GGUN, और GGUF मॉडल सेट करने के लिए। क्या होगा यदि आप बस हार्डवेयर निवेश के बिना ब्लॉग लेखन सहायक के लाभ चाहते हैं? > इस लेख में बादल आधारित विकल्प प्रस्तुत किए गए हैं: वही रीजी समीप, एक ही क्यूड वेक्टर डाटाबेस, लेकिन स्थानीय गंभीरता के बजाय बादल के इस्तेमाल में. ## इसके बारे में सोचो जैसे कि "लेवर जीबीर" - आसान सेटअप, प्रवेश करने के लिए कम बाधा, और संभावित बेहतर आउटपुट गुणवत्ता सामने वाले मॉडलों का प्रयोग करते हुए। ### पूर्णRER: मैं अभी भी सीख रहा हूँ कि कौन सा तरीका अभ्यास में सबसे अच्छा काम करता है, तो मेरी लागत और प्रदर्शन का दावा है नमक के साथ. मैं जो कह सकता हूँ वह यह है कि इस बादल के पास जाने का रास्ता बहुत ही सीधा रहा है और यह मार्ग पश्‍चिम के मार्ग की तुलना में बहुत ही सीधा है । - ध्यान दें: यह एआई के साथ मेरे परीक्षण का हिस्सा है (जैसे कि मेरे स्वयं का संपादन). - उसी आवाज़ की तरह, उसी आवाज़ में एक - दूसरे का हाथ होता है; सिर्फ तेज़ उंगलियों को । - बादल क्यों सेट करते हैं? - शुरूआत में इस सवाल का जवाब दिया गया है - पूरा "लेवर GR" श्रृंखला एक प्रणाली बनाता है कि: - 100% स्थानीय (प्रयोगी) - कोई एपीआई खर्च नहीं ### तीव्र निर्यात NVIDia जीयू (8GB+ वीरैम) आवश्यक है - जटिल सेटअप (CUDA, Genn, मॉडल प्रबंधन) - आप वीना में फिट कर सकते हैं मॉडल की सीमा - विंडोज़-फ़ोक्वेंशन - बादल वैकल्पिक - यह तरीका आपको देता है: - कोई जीपीयू आवश्यक नहीं (किसी भी मशीन पर चल रहा है) - सादा सेटअप (कोई डीयूडीडी/ खासinN) - सामने वाले मॉडलों का पहुँच (जी२-४, कवर, आदि) **क्रास- डिज़ाइन (विंडोज़, मैक, लिनक्स)** बेहतर आउटपुट क्वालिटी (बड़ा, अधिक योग्य मॉडल) |--------------------|-------------------| एपीआई खर्च (हालाँकि निजी उपयोग के लिए उचित है) डाटा को तीसरे- नियॉटर्स में भेजा गया लेटेक्स पर निर्भर करता है किस का उपयोग किया जाए? [TOC] ## [ पेज 28 पर तसवीर] गोपनीयता बहुत ज़रूरी है ```mermaid graph TB A[Markdown Files] -->|Ingest| B[Chunking Service] B -->|Text Chunks| C[Cloud Embedding API] C -->|Vectors| D[Qdrant Vector DB] E[User Writing] -->|Current Draft| F[Web/Desktop Client] F -->|Embed Context| C C -->|Query Vector| D D -->|Similar Content| G[Context Builder] G -->|Relevant Past Articles| H[Prompt Engineer] H -->|Prompt + Context| I[Cloud LLM API] I -->|Generated Suggestions| J[Response Handler] J -->|Suggestions + Citations| F F -->|Display| K[Editor with Suggestions] class C,I cloud class D,K local classDef cloud stroke:#f96,stroke-width:4px classDef local stroke:#333,stroke-width:2px ``` **सीजेके तुम्हारे पास Gपिम हार्डवेयर परवाह है आप मैक/ लिनक्स/ झूठी चोटी पर हैं** - **इससे सर अधिकतम आवाज़ मिलती है**बड़ा होकर आपको बहुत मज़ा आता है आप जल्दी परिणाम चाहते हैं`text-embedding-3-small`ओवरव्यू - **बादल संस्करण एक ही रीजी बुनियादीता रखता है लेकिन स्थानीय रिवेम के लिए MLI कॉल के लिए याद रखता है:**कुंजी भिन्नता: - **मॉडल एम्बेड किया जा रहा है**: खुला कृत्रिमता - **स्थानीय BG मॉडल के बदले एपीआई**सीएलएम : कवर 3. 5 सोनेट या GBS4 API स्थानीय मिस्ल/LULULJARA के बजाय ## कोई जीपीयू आवश्यक नहीं ### : हर चीज़ सीपीयू आधारित स्थानीय रूप से, बादल में होता है - **सरल तैनातिंग**: एकल एक्जीक्यूटेबल, कोई मॉडल फ़ाइलें प्रबंधित नहीं हैं - **मुझे नोट करना चाहिए कि मैं व्यापक टी. वी.**लेकिन प्रारंभिक परिणाम काफ़ी हिस्सा लेने की प्रतिज्ञा करते हैं । ### तकनीक स्टैक - **कोर फ्रेमवर्क**.नेट 9 - **- मूल श्रृंखला के रूप में ही**C# 13 - **- आधुनिक भाषा विशेषताएँ**बंद करें (C) ### कृत्रिम बुद्धि खोलें - **- एम्बेडिंग (text- metob- 3- छोटा) + RLM (G- 4)**एनथिक एपीआई - **- वैकल्पिक वरलएम (कंड 35 बेटाnet)**दोनों ### - आप जोड़ सकते हैं और मैच कर सकते हैं! - **सदिश डाटाबेस**स्केल्स - **- उसी तरह जो मूल रूप से, स्थानीय रूप से डॉकर के माध्यम से चला सकते हैं या क्यूडेबल बादल का उपयोग कर सकते हैं**वैकल्पिक - **: पाइनी, वेवेंट बादल (मानवरी विकल्प)**क्लाइंट विकल्प ## कंसोल एख्तियार करें ### - सरल, जाँच के लिए महान **ब्रेजर वेब- आकार** ```bash docker run -p 6333:6333 -p 6334:6334 \ -v $(pwd)/qdrant_storage:/qdrant/storage:z \ qdrant/qdrant ``` **- वेब आधारित, कहीं भी काम करता है** 1. आवाही[- क्रास-फॉर्म डेस्कटॉप (विंडोज़, मैक, लिनक्स)](https://cloud.qdrant.io) 2. सेटअप: 3. 1 .. **प्रक्षेपास्त्र संस्थापित करें** ### विकल्प A: स्थानीय डॉकer ( विकास हेतु रद्द) **विकल्प बी: प्रक्षेपक बादल (वरक)**इधर को जाएँ 1. बादल ।[एक मुक्त गुच्छ बनाएँ](https://platform.openai.com) 2. अपना एपीआई कुंजी तथा क्लस्टर यूआरएल प्राप्त करें 3. कोई सीयूडी नहीं, नुकेन, कोई ड्राइवर संस्थापन की ज़रूरत नहीं! **2**एपीआई कुंजियाँ प्राप्त करें 1. डाटा आयात करें[(अनुपलिंग + आउटम के लिए):](https://console.anthropic.com) 2. यहाँ जाएँ ### प्लेटफॉर्म. ओपनहे.com एपीआई कुंजी बनाएँ`appsettings.json`: ```json { "BlogRAG": { "Embedding": { "Provider": "OpenAI", "Model": "text-embedding-3-small", "ApiKey": "sk-..." }, "LLM": { "Provider": "Anthropic", "Model": "claude-3-5-sonnet-20241022", "ApiKey": "sk-ant-..." }, "VectorStore": { "Type": "Qdrant", "Url": "http://localhost:6333", "ApiKey": "", "CollectionName": "blog_embeddings" }, "Ingestion": { "MarkdownPath": "/path/to/your/blog/Markdown", "ChunkSize": 500, "ChunkOverlap": 50 } } } ``` **उपयोग सीमा सेट करें (यदि महत्वपूर्ण!)**एथॉपिक ## (वैकल्पिक, कवर्स के लिए): ### यहाँ जाएँ #### कंसोल. arthras.com ```csharp using OpenAI; using OpenAI.Embeddings; namespace BlogRAG.Services { public interface IEmbeddingService { Task GenerateEmbeddingAsync(string text); Task> GenerateBatchEmbeddingsAsync(List texts); } public class OpenAIEmbeddingService : IEmbeddingService { private readonly OpenAIClient _client; private readonly string _model; private readonly ILogger _logger; public OpenAIEmbeddingService( string apiKey, string model, ILogger logger) { _client = new OpenAIClient(apiKey); _model = model; _logger = logger; } public async Task GenerateEmbeddingAsync(string text) { var embeddings = await GenerateBatchEmbeddingsAsync(new List { text }); return embeddings.First(); } public async Task> GenerateBatchEmbeddingsAsync(List texts) { _logger.LogInformation("Generating embeddings for {Count} texts", texts.Count); var request = new EmbeddingRequest { Input = texts, Model = _model }; var response = await _client.CreateEmbeddingAsync(request); return response.Data .OrderBy(e => e.Index) .Select(e => e.Embedding.ToArray()) .ToList(); } } } ``` **एपीआई कुंजी बनाएँ** - 3 - कॉन्फ़िगरेशन - बनाएँ - यह बात है. **कोई जीपिय सेटअप नहीं, कोई मॉडल डाउनलोड नहीं (12GB फ़ाइल), कोई वीरैम प्रबंधन नहीं.**कार्यान्वयन - कोर सेवाएंName - 1 .. #### बादल जो सेवा पर छाया हुआ है ```csharp using Anthropic.SDK; using Anthropic.SDK.Messaging; namespace BlogRAG.Services { public interface ILLMService { Task GenerateCompletionAsync( string systemPrompt, string userPrompt, float temperature = 0.7f); IAsyncEnumerable GenerateStreamingCompletionAsync( string systemPrompt, string userPrompt, float temperature = 0.7f); } public class ClaudeLLMService : ILLMService { private readonly AnthropicClient _client; private readonly string _model; private readonly ILogger _logger; public ClaudeLLMService( string apiKey, string model, ILogger logger) { _client = new AnthropicClient(new APIAuthentication(apiKey)); _model = model; _logger = logger; } public async Task GenerateCompletionAsync( string systemPrompt, string userPrompt, float temperature = 0.7f) { _logger.LogInformation("Generating completion with temperature {Temp}", temperature); var messages = new List { new Message { Role = RoleType.User, Content = userPrompt } }; var request = new MessageRequest { Model = _model, MaxTokens = 2048, Temperature = temperature, System = systemPrompt, Messages = messages }; var response = await _client.Messages.CreateAsync(request); return response.Content.First().Text; } public async IAsyncEnumerable GenerateStreamingCompletionAsync( string systemPrompt, string userPrompt, float temperature = 0.7f) { var messages = new List { new Message { Role = RoleType.User, Content = userPrompt } }; var request = new MessageRequest { Model = _model, MaxTokens = 2048, Temperature = temperature, System = systemPrompt, Messages = messages, Stream = true }; await foreach (var chunk in _client.Messages.StreamAsync(request)) { if (chunk.Delta?.Text != null) { yield return chunk.Delta.Text; } } } } } ``` **कुंजी लाभ स्थानीय vs:** - NNX रन समय सेटअप नहीं - कोई GPS मेमोरी प्रबंधन नहीं - ओपेनEARAL द्वारा स्वचालित प्रचयन - अवस्था- ऑफ- आरंभन क्वालिटी **खर्च**: - : ~$051 प्रति 1K चिन्ह (बहुत कम) - प्रक्रमित 100 ब्लॉग पोस्ट (0-2५०० टोकन: ~ 0.05) - प्रतिदिन का उपयोग (१०): ~0.001/ दिवस = 0. 30/ माह 2 #### बादल की सेवा ```csharp using Qdrant.Client; using Qdrant.Client.Grpc; namespace BlogRAG.Services { public class QdrantVectorStore { private readonly QdrantClient _client; private readonly string _collectionName; private readonly ILogger _logger; public QdrantVectorStore( string url, string apiKey, string collectionName, ILogger logger) { _client = new QdrantClient(url, apiKey: apiKey); _collectionName = collectionName; _logger = logger; } public async Task CreateCollectionAsync(int vectorSize) { var collections = await _client.ListCollectionsAsync(); if (collections.Any(c => c.Name == _collectionName)) { _logger.LogInformation("Collection {Name} already exists", _collectionName); return; } await _client.CreateCollectionAsync( collectionName: _collectionName, vectorsConfig: new VectorParams { Size = (ulong)vectorSize, Distance = Distance.Cosine }); _logger.LogInformation("Created collection {Name}", _collectionName); } public async Task UpsertAsync( Guid id, float[] vector, Dictionary payload) { var point = new PointStruct { Id = id, Vectors = vector, Payload = payload }; await _client.UpsertAsync(_collectionName, new[] { point }); } public async Task> SearchAsync( float[] queryVector, int limit = 10, float scoreThreshold = 0.7f) { var results = await _client.SearchAsync( collectionName: _collectionName, vector: queryVector, limit: (ulong)limit, scoreThreshold: scoreThreshold); return results.ToList(); } } } ``` **स्थानीय लाभ:**कोई मॉडल लोड नहीं (सेकेंड में आरंभ होता है) ### कोई वीना सीमा नहीं (यदि आवश्यक हो तो २००के संदर्भ का प्रयोग करें) ```csharp namespace BlogRAG.Services { public class IngestionService { private readonly IEmbeddingService _embedder; private readonly QdrantVectorStore _vectorStore; private readonly ILogger _logger; public IngestionService( IEmbeddingService embedder, QdrantVectorStore vectorStore, ILogger logger) { _embedder = embedder; _vectorStore = vectorStore; _logger = logger; } public async Task IngestMarkdownFilesAsync(string markdownPath) { var files = Directory.GetFiles(markdownPath, "*.md", SearchOption.AllDirectories); _logger.LogInformation("Found {Count} markdown files", files.Length); foreach (var file in files) { await IngestFileAsync(file); } } private async Task IngestFileAsync(string filePath) { var content = await File.ReadAllTextAsync(filePath); var metadata = ExtractMetadata(content); var chunks = ChunkContent(content); _logger.LogInformation("Processing {File}: {ChunkCount} chunks", Path.GetFileName(filePath), chunks.Count); // Batch embedding generation var texts = chunks.Select(c => c.Text).ToList(); var embeddings = await _embedder.GenerateBatchEmbeddingsAsync(texts); // Upload to Qdrant for (int i = 0; i < chunks.Count; i++) { var chunk = chunks[i]; var embedding = embeddings[i]; var payload = new Dictionary { ["text"] = chunk.Text, ["file_path"] = filePath, ["blog_post_slug"] = metadata.Slug, ["blog_post_title"] = metadata.Title, ["chunk_index"] = i, ["category"] = metadata.Category }; await _vectorStore.UpsertAsync(Guid.NewGuid(), embedding, payload); } _logger.LogInformation("Ingested {File}", Path.GetFileName(filePath)); } private List ChunkContent(string content, int chunkSize = 500, int overlap = 50) { // Simple sentence-aware chunking var sentences = content.Split(new[] { ". ", ".\n", "!\n", "?\n" }, StringSplitOptions.RemoveEmptyEntries); var chunks = new List(); var currentChunk = new StringBuilder(); var currentLength = 0; foreach (var sentence in sentences) { if (currentLength + sentence.Length > chunkSize && currentChunk.Length > 0) { chunks.Add(new TextChunk { Text = currentChunk.ToString() }); // Overlap: keep last sentence currentChunk.Clear(); currentLength = 0; } currentChunk.Append(sentence).Append(". "); currentLength += sentence.Length; } if (currentChunk.Length > 0) { chunks.Add(new TextChunk { Text = currentChunk.ToString() }); } return chunks; } private BlogMetadata ExtractMetadata(string content) { // Extract from markdown frontmatter or HTML comments var titleMatch = Regex.Match(content, @"^#\s+(.+)$", RegexOptions.Multiline); var categoryMatch = Regex.Match(content, @""); return new BlogMetadata { Title = titleMatch.Success ? titleMatch.Groups[1].Value : "Untitled", Category = categoryMatch.Success ? categoryMatch.Groups[1].Value : "General", Slug = Path.GetFileNameWithoutExtension(content) }; } } public class TextChunk { public string Text { get; set; } = string.Empty; } public class BlogMetadata { public string Title { get; set; } = string.Empty; public string Category { get; set; } = string.Empty; public string Slug { get; set; } = string.Empty; } } ``` ### बेहतर आउटपुट क्वालिटी (सिर्फ सिद्धांत - में कम से कम मैं अभी भी परीक्षण कर रहा हूँ) ```csharp namespace BlogRAG.Services { public class RAGGenerationService { private readonly IEmbeddingService _embedder; private readonly QdrantVectorStore _vectorStore; private readonly ILLMService _llm; private readonly ILogger _logger; public RAGGenerationService( IEmbeddingService embedder, QdrantVectorStore vectorStore, ILLMService llm, ILogger logger) { _embedder = embedder; _vectorStore = vectorStore; _llm = llm; _logger = logger; } public async Task GenerateSuggestionAsync( string currentDraft, string requestType = "continue") { // 1. Generate embedding for current draft var draftEmbedding = await _embedder.GenerateEmbeddingAsync(currentDraft); // 2. Search for relevant past content var results = await _vectorStore.SearchAsync( queryVector: draftEmbedding, limit: 5, scoreThreshold: 0.7f); _logger.LogInformation("Found {Count} relevant chunks", results.Count); // 3. Build context from results var contextBuilder = new StringBuilder(); foreach (var result in results) { var text = result.Payload["text"].ToString(); var title = result.Payload["blog_post_title"].ToString(); var score = result.Score; contextBuilder.AppendLine($"## From: {title} (relevance: {score:F2})"); contextBuilder.AppendLine(text); contextBuilder.AppendLine(); } // 4. Build prompt var systemPrompt = BuildSystemPrompt(requestType); var userPrompt = BuildUserPrompt(currentDraft, contextBuilder.ToString(), requestType); // 5. Generate with LLM var suggestion = await _llm.GenerateCompletionAsync( systemPrompt: systemPrompt, userPrompt: userPrompt, temperature: 0.7f); return suggestion; } private string BuildSystemPrompt(string requestType) { return requestType switch { "continue" => @"You are a technical blog writing assistant. Your role is to suggest continuations for blog posts based on the author's past writing style and content. Guidelines: - Match the author's voice and technical depth - Use similar patterns and structures from past posts - Be specific and technical, not generic - Include code examples when relevant - Maintain consistency with past content", "improve" => @"You are a technical blog editor. Your role is to improve sections of blog posts while maintaining the author's voice. Guidelines: - Preserve the author's style - Improve clarity and flow - Add technical depth where appropriate - Suggest better examples from past posts - Fix unclear explanations", "outline" => @"You are a technical blog outline generator. Your role is to suggest outlines for new blog posts based on past structures. Guidelines: - Study the author's typical post structure - Suggest sections based on successful past posts - Include technical depth appropriate to topic - Reference similar past articles", _ => "You are a helpful technical writing assistant." }; } private string BuildUserPrompt(string currentDraft, string context, string requestType) { return $@" # Current Draft {currentDraft} # Relevant Past Content {context} # Request {GetRequestDescription(requestType)} Please provide your suggestion based on the current draft and the relevant past content shown above. Remember to maintain consistency with the author's past writing style and technical approach. "; } private string GetRequestDescription(string requestType) { return requestType switch { "continue" => "Continue writing from where the draft ends. Suggest the next 1-2 paragraphs.", "improve" => "Improve the current draft. Suggest specific edits and enhancements.", "outline" => "Create a detailed outline for completing this post.", _ => "Provide helpful suggestions." }; } } } ``` ## स्ट्रीमिंग पूर्ण ```csharp using Microsoft.Extensions.Configuration; using Microsoft.Extensions.DependencyInjection; using Microsoft.Extensions.Logging; namespace BlogRAG.Console { class Program { static async Task Main(string[] args) { // Setup DI and configuration var services = new ServiceCollection(); var configuration = new ConfigurationBuilder() .SetBasePath(Directory.GetCurrentDirectory()) .AddJsonFile("appsettings.json") .AddUserSecrets() // For API keys .Build(); services.AddLogging(builder => builder.AddConsole()); // Register services var embeddingConfig = configuration.GetSection("BlogRAG:Embedding"); services.AddSingleton(sp => new OpenAIEmbeddingService( embeddingConfig["ApiKey"]!, embeddingConfig["Model"]!, sp.GetRequiredService>())); var llmConfig = configuration.GetSection("BlogRAG:LLM"); services.AddSingleton(sp => new ClaudeLLMService( llmConfig["ApiKey"]!, llmConfig["Model"]!, sp.GetRequiredService>())); var vectorConfig = configuration.GetSection("BlogRAG:VectorStore"); services.AddSingleton(sp => new QdrantVectorStore( vectorConfig["Url"]!, vectorConfig["ApiKey"] ?? "", vectorConfig["CollectionName"]!, sp.GetRequiredService>())); services.AddSingleton(); services.AddSingleton(); var serviceProvider = services.BuildServiceProvider(); // Run CLI await RunCLI(serviceProvider, configuration); } static async Task RunCLI(ServiceProvider serviceProvider, IConfiguration configuration) { System.Console.WriteLine("=== Blog RAG Assistant ===\n"); System.Console.WriteLine("Commands:"); System.Console.WriteLine(" ingest - Ingest markdown files"); System.Console.WriteLine(" write - Start writing session"); System.Console.WriteLine(" quit - Exit\n"); while (true) { System.Console.Write("> "); var command = System.Console.ReadLine()?.Trim().ToLower(); switch (command) { case "ingest": await IngestCommand(serviceProvider, configuration); break; case "write": await WriteCommand(serviceProvider); break; case "quit": return; default: System.Console.WriteLine("Unknown command"); break; } } } static async Task IngestCommand(ServiceProvider serviceProvider, IConfiguration configuration) { var ingestion = serviceProvider.GetRequiredService(); var markdownPath = configuration["BlogRAG:Ingestion:MarkdownPath"]; System.Console.WriteLine($"Ingesting from {markdownPath}..."); await ingestion.IngestMarkdownFilesAsync(markdownPath!); System.Console.WriteLine("Ingestion complete!\n"); } static async Task WriteCommand(ServiceProvider serviceProvider) { var rag = serviceProvider.GetRequiredService(); System.Console.WriteLine("\nEnter your draft (end with empty line):"); var draft = new StringBuilder(); string? line; while (!string.IsNullOrWhiteSpace(line = System.Console.ReadLine())) { draft.AppendLine(line); } System.Console.WriteLine("\nGenerating suggestion...\n"); var suggestion = await rag.GenerateSuggestionAsync(draft.ToString()); System.Console.WriteLine("=== Suggestion ==="); System.Console.WriteLine(suggestion); System.Console.WriteLine("\n"); } } } ``` ## खर्च ### Sug 3. 5 बेटानेट: $ $ $On/mmin इनपुट चिह्न, $15/mmin आउटपुट ```bash # 1. Clone/create project dotnet new console -n BlogRAG cd BlogRAG # 2. Add packages dotnet add package Qdrant.Client dotnet add package OpenAI dotnet add package Anthropic.SDK dotnet add package Microsoft.Extensions.Configuration.Json dotnet add package Microsoft.Extensions.Configuration.UserSecrets # 3. Set API keys (stored securely) dotnet user-secrets init dotnet user-secrets set "BlogRAG:Embedding:ApiKey" "sk-..." dotnet user-secrets set "BlogRAG:LLM:ApiKey" "sk-ant-..." # 4. Start Qdrant (local) docker run -d -p 6333:6333 qdrant/qdrant # 5. Run ingestion dotnet run > ingest # 6. Start writing > write ``` **विशिष्ट ब्लॉग लिखने का सत्र (20K इनपुट, 2K आउटपुट):**मासिक प्रयोग (१० सत्र: $. 90/ माह) ### ये गेंद के आंकड़े हैं जो मेरे प्रारंभिक परीक्षणों पर आधारित हैं - आपके मील की दूरी पर फर्क हो सकता है कि आप एआई के साथ किस तरह गपशप कर रहे हैं. ```bash # Start Qdrant (if using local Docker) docker start qdrant # Run assistant dotnet run > write # Enter your draft I've been working on a new feature that uses Entity Framework Core... [Ctrl+D or empty line] # Get AI suggestion based on your past EF posts! ``` ## 3 ### क्यूडेशनल वेक्टर स्टोर (जो असली के रूप में की गयी है!) **स्थानीय सेटअप के रूप में समान API**- सिर्फ स्थानीय डॉकer या प्रवर बादल करने के लिए बिंदु! गति की कमी |-----------|--------|------| RAG जेनरेशन सेवा सादा कंसोल क्लाइंट तंत्र चला रहा है | **प्रथम समय सेटअप** | | **~$3.65** | **कुल सेटअप समय** - : स्थानीय जीपीय सेटअप के लिए लगभग १५ मिनट... ... सब कुछ आसानी से चला जाता है, जो मेरे अनुभव में एक ख़तरनाक कल्पना है. - प्रतिदिन उपयोग - लागत विश्लेषण **माह लागत अनुमानित (निजी ब्लॉग)**उदाहरण ### प्रति माह 4 ब्लॉग लिखा जा रहा है 1. **Libisofs ऑपरेशन (_m) वॉल्यूम का लागत**: - `text-embedding-3-small`भौगोलिक स्थिति में आरंभिक (100 पोस्ट), 0. 500K टोकन "0. 005" - `text-embedding-3-large`INVENTE (किंग, 40/ माह) 2006 40के निशानियाँ - लॉएलएम कॉल करता है (40 सुझाव) ८००के इनपुट, 80के आउटपुट $50 डॉलर.60 " 2. **कुल माह**तुलना के लिए: ```csharp // Use OpenAI Batch API for ingestion var batch = await client.CreateBatchAsync(requests); // Wait hours, pay half price ``` 3. **स्थानीय सेटअप: $0/ माह (लेकिन $0000+GUPCHS)**: ```csharp // Don't re-embed identical text var cache = new Dictionary(); ``` 4. **चैटजी प्लस: $20/ माह (कोई RAG, जेनेरिक)**: - ग्रामरुमन: $२/ माह (कोई एआई लेखन) - ब्रेक- यहाँ तक कि बिन्दु 5. **: अगर आप 18+ महीने के लिए इसका उपयोग करेंगे, स्थानीय जीपी भुगतान खुद के लिए.**: ```csharp // Retrieve top 3 instead of top 10 chunks limit: 3 // 70% less input tokens ``` ## अन्यथा, बादल अचानक आ जाता है । ### हालांकि मैं अभी भी काम कर रहा हूँ क्या मेरी लागत यथार्थ हैं - मैं कुछ महीनों में अपने शब्द खा सकता है जब बिल में आते हैं. कीमत ऑप्टीमाइज़ेशन सुझाव |-------|---------|---------|--------|--------| एम्बेडिंग के लिए छोटे मॉडलों का इस्तेमाल करें : 3000002/1K निशानियाँ :0013/1K निशानियाँ 6.5x खर्च! **प्रचयन कॉल**अज्ञातों के लिए 50% सामग्री: ### कैशिंग स्थानीय रूप से ```csharp // Switch models with one line services.AddSingleton(sp => new ClaudeLLMService( // Was GPT-4, now Claude config["ApiKey"], "claude-3-5-sonnet-20241022", // Latest model sp.GetRequiredService>())); ``` **मसौदा के लिए मॉडल का प्रयोग करें**स्टू 35 हैइकु: 0. 25/M इनपुट (जैसे किचिनेट से 12x रुपये) ### GS- 4obi: $0.15/M इनपुट (उदाहरण से 20x- 4) ```bash # Works on Mac (no CUDA support) dotnet run # Just works! # Works on Linux ARM (Raspberry Pi?) dotnet run # Just works! # Works in Codespaces/Gitpod dotnet run # Just works! ``` **संदर्भ विंडो सीमित करें** ### स्थानीय सेटअप से अधिक लाभ ```csharp // Handle 100 concurrent users? Easy with APIs await Task.WhenAll(users.Select(u => rag.GenerateSuggestionAsync(u.Draft))); // Local? Limited by your single GPU ``` ### 1 .. ```bash # Deploy to Azure/AWS/GCP dotnet publish -c Release # Upload single binary, set env vars, done # Local? Need to: # - Include 12GB model files # - Install CUDA on target machine # - Ensure GPU drivers # - Manage VRAM ``` ## बढ़िया मॉडल क्वालिटी ### फ्लॉरेंस मॉडल कॉन्टेक्स्ट क्वालिटी, स्थानीय क्वालिटी? **MTANT 7BY अच्छी तरह से 8KY (8GB वीरैम की जरूरत होती है)** यूजीन लामरा 3 70BBYERTHE( 48GB विरैम की जरूरत होती है) - IMSES-4 TX 128KERALYEALYEARTYEAR( 0. 4) - सेंटीमीटर 3.5 बेटा राह दिखाता है 200केएक्सईएमईएक्सईएक्सईएमईएक्सएक्सईएमईएमई - बादल आपको 70B+ मॉडलों तक पहुँचने देता है - कि $ 10K + जीपीयू हार्डवेयर की आवश्यकता होगी. कम से कम, कि सिद्धांत - मैं अभी भी सीख रहा हूँ कि बड़े मॉडल वास्तव में क्या वास्तव में इस अभ्यास में बेहतर ब्लॉग सामग्री उत्पन्‍न करते हैं या नहीं. ### 2 **तत्काल अद्यतन** कोई मॉडल डाउनलोड्स - , कोई जीजीयूएफ परिवर्तन, कोई सुसंगतता जाँच. - यह वास्तव में शानदार है जब आप विभिन्न मॉडलों के साथ परीक्षण कर रहे हैं देखने के लिए क्या सबसे अच्छा काम करता है। - 3 ### क्रास- पेंट **स्थानीय पहुँच केवल विंडो + निक्सिया है.** 4. - स्केल्स - 5. - सादा डीप्रेशन ### व्यापार बन्द करना (p) **1 ..** गोपनीयता गोपनीयता ```csharp // Use abstraction layer public interface ILLMService { // Switch providers easily } // Factory pattern services.AddSingleton(sp => { return config["Provider"] switch { "OpenAI" => new OpenAILLMService(...), "Anthropic" => new ClaudeLLMService(...), "Cohere" => new CohereLLMService(...), _ => throw new Exception("Unknown provider") }; }); ``` ## आपका ब्लॉग सामग्री प्रेरणा/Andpowice को खोलने के लिए चला जाता है। **माइिगेशन:**सिर्फ सार्वजनिक ब्लॉग सामग्री के लिए प्रयोग करें ```csharp public class HybridEmbeddingService : IEmbeddingService { private readonly LocalOnnxEmbedding _local; private readonly OpenAIEmbeddingService _cloud; private readonly bool _preferLocal; public async Task GenerateEmbeddingAsync(string text) { if (_preferLocal && _local.IsAvailable()) { return _local.GenerateEmbedding(text); // Free, fast } return await _cloud.GenerateEmbeddingAsync(text); // Fallback } } ``` **प्रदाता के डाटा उपयोग नीति जाँचें**: - खोलें: एपीआई डाटा प्रशिक्षण के लिए इस्तेमाल में नहीं लिया गया (2024 के रूप में) - एक - दूसरे का साथ निभाने का यही वादा यदि आप गोपनीय अंतर्वस्तु को ड्राफ्ट कर रहे हैं, तो स्थानीय प्रवेश करने के लिए उपयोग करें.**मैं अपने सार्वजनिक ब्लॉग के लिए इस के साथ आराम से हूँ, लेकिन मैं इसे किसी भी दूरस्थ संवेदनशील - के लिए इस्तेमाल नहीं करना चाहिए और क्या आप अपने मामले के लिए "मोमोमोफ़ी से संवेदनशील" का मतलब नहीं लेना चाहिए.**2 1. नेटवर्क डिपेंडेंसी 2. कोई इंटरनेट = कोई सहायक नहीं. 3. माइिगेशन: ## पिछले सुझावों को स्थानीय रूप से कैश करें संपादन के लिए ऑफ़लाइन विधि की सदस्यता लें स्थानीय छोटे मॉडलों पर वापस गिर |---------|-------|-------| 3 हाल ही में@ info: whatsthis एपीआई कॉल 1-3 सेकेंड <1s> स्थानीय. सही चेक करें: स्थानीय: 0. 5 बादल: 2 पीढ़ी भिन्‍न अंतर: 1. (मेरे अनुभव में मदद के लिए पूर्ण रूप से स्वीकार किया जाता है - हालाँकि मुझे लगता है कि यह इस पर निर्भर करता है कि आप कितना अधीर हैं) 4. **विक्रेता लॉक- इन** - API में स्विच करने के लिए कोड परिवर्तन की जरूरत है. - माइिगेशन: - इस सवाल का जवाब: सारी दुनिया में सबसे बढ़िया - आप स्थानीय और बादल मिश्रण कर सकते हैं? - बिलकुल! **केंद्रित करने के लिए स्थानीय उपयोग में लें (स्पी, तीव्र, बादल)** - स्थानीय रूप से एम्बेडिंग: $ 0. 04/ माह सहेजें (टीनी मात्रा, माना) - बादल मेंएलएम: GS-4/CET गुणवत्ता प्राप्त करें - यह वास्तव में मेरा है - दिशा पास करने की छूट दी गई - , हालांकि मैं अभी भी देखने के लिए प्रयोग कर रहा हूँ यह सही संतुलन है कि क्या देखने के लिए: **स्थानीय रूप से छोटे एम्बेडिंग मॉडल चलाएँ (कोई जीपीपीपी की आवश्यकता नहीं)**लेग के लिए बादल का प्रयोग करें ## विकास के लिए विवेषण स्थानीय, उत्पादन के लिए बादल 1. **कंटेनमेंट**बादल के लिए वैकल्पिक रूप से आप 20% के लाभ देता है या कम से कम कि मेरे अनुभव अभी तक किया गया है: 2. **फ़रमाया गया विशेषतादार स्थानीय काले बादलweather condition**Libisofs समय 2- 4 घंटे 15 मिनट का आवंटन है 3. **XIV हार्डवेयर माँग करता है कि 2006 NVIIIIA GUPA किसी भी कंप्यूटर के साथ इलाज करे**पीने योग्य मॉडल क्वालिटी 7B-13BRSE G2-4, टर्टल 3. 5अनक़रीब ही लागू होता है 4. **INRICKICKY $0 "0 $5"**एलआईएसएमईएक्सईएक्सईएक्सईसी 2s 5. **गोपनीयता 100% स्थानीय बनकर API में प्रेषित**INBS क्रॉस- कम्प्लीशन विंडोज के सिर्फ XIV/ लिनक्स/विंडोज़ एमयूएडी अद्यतन कोई नहीं**जब बादल इस्तेमाल किया जाए:**आपके पास NVIDia नहीं है आप मैक/ लिनक्स पर हैं ## आप सबसे आसान रास्ता चाहते हैं ### आप 10 पोस्ट/ माह से कम लिखते हैं - [आप सार्वजनिक सामग्री के साथ बादल प्रदान करने पर भरोसा](/blog/building-a-lawyer-gpt-for-your-blog-part1) - [जब स्थानीय इस्तेमाल किया जाए:](/blog/building-a-lawyer-gpt-for-your-blog-part1) ### आपके पास जीपी हार्डवेयर है - [गोपनीयता गंभीर है](https://qdrant.tech/)आप $0 ऑपरेटिंग लागत चाहते हैं - [आप 20 से अधिक पोस्ट/ माह लिख रहे हैं](https://cloud.qdrant.io)आप टिनिंग का आनंद लेते हैं - [सर्वोत्तम निकट:](https://platform.openai.com) - [बादल के साथ शुरू करें.](https://console.anthropic.com) - [यदि आप इसे प्यार करते हैं और कीमत / अनरिक सीमाओं पर मारा है, तो स्थानीय बाद में उत्प्रवासित हो जाता है.](https://github.com/openai/openai-dotnet) - [रेजी डिजाइन एक समान है - आप सिर्फ LLM सेवा को बदलने के लिए!](https://github.com/tghamm/Anthropic.SDK) ### हालांकि मैं अभी भी मिलका सीख रहा हूँ कि गुफा चाहिए. - अगला कदम[इसे कोशिश करें : इस दोपहर बादल संस्करण सेट करें