मेरा Chatbot विकसित हो रहा है: स्मार्ट Interactions के लिए एक हफ्ते की Sprint
मैंने एक हफ्ते में अपना chatbot फिर से बनाया, basic post summaries से full-text search में chunking, security और metadata के साथ upgrade किया — यहाँ बताता हूँ AI power और cost के बीच संतुलन बनाने के बारे में क्या सीखा।
अपडेट (2026): यह chatbot विकसित होकर Sydney बन गया! कई iterations के बाद, Sydney अब /ask/ पर रहती है और blog content और products पर ध्यान देती है।
जब मैंने पिछले हफ्ते अपने DIY chatbot का version 0.1 launch किया था, मेरा लक्ष्य था एक conversational agent बनाना जो मेरे blog posts में जानकारी synthesize करके सवालों का जवाब दे सके। v0.1 एक coding novice के रूप में एक बड़े पहले कदम का प्रतिनिधित्व करता था, लेकिन इसकी महत्वपूर्ण सीमाएँ थीं। Knowledge base में सिर्फ मेरे posts के summaries शामिल थे, और chatbot numbers या dates जैसे specific details को सटीक रूप से retrieve करने में संघर्ष करता था। मेरी प्रेरणा रही है hands-on learning के ज़रिए chatbot की capabilities को धीरे-धीरे बेहतर बनाना। यह post एक हफ्ते की optimizations के बाद एक update है। मेरा ध्यान रहा है knowledge base को full article content तक विस्तारित करना, security measures मज़बूत करना, और cost-effectiveness के लिए AI model को optimize करना। हालाँकि chatbot के लिए अभी लंबा रास्ता है, ये शुरुआती upgrades promising progress का प्रतिनिधित्व करते हैं।
यहाँ है जो पिछले version के बाद से किया गया है:
1. Functionality
Chatbot में अक्तूबर 2023 के अंत तक सभी नवीनतम posts शामिल हैं
मैंने अक्तूबर में छह blog posts प्रकाशित किए, जो अब chatbot के knowledge base में सभी शामिल हैं। उदाहरण के लिए, आप ऐसे सवाल पूछ सकते हैं: "Chandler ने Coursera के बारे में जो लिखा उसकी मुख्य insights बताइए" और chatbot अक्टूबर 2023 में मेरे लिखे articles के आधार पर जवाब दे सकता है।
Knowledge base में सिर्फ summary की बजाय पूरा blog post शामिल है
पहले version के लिए, OpenAI API की context window length limitation के साथ काम करने के मेरे ज्ञान/अनुभव की कमी की वजह से, मुझे हर blog post का summary generate करना पड़ा और फिर उन्हें OpenAI के embedding API endpoint का उपयोग करके embed करना पड़ा। मुझे नहीं पता था कि पूरे article को छोटे sections में chunk कैसे करें और context (यानी metadata, URL, title, आदि) को intact रखते हुए हर को embed कैसे करें।
इस हफ्ते chunking का पहला iteration किया गया है। Chatbot knowledge base में अब सिर्फ summary की बजाय पूरा blog post है। जैसे-जैसे मैं लंबे articles के लिए ideal chunking limit और approach को refine करता रहूँगा, अभी भी सुधार की गुंजाइश है। अभी के लिए, मैं लंबे articles को 800 tokens से ज़्यादा नहीं के छोटे sections में split करता हूँ और natural break point के रूप में "paragraph" का उपयोग करता हूँ।
इस तरह अगले version में, यह specific numbers के बारे में सवालों का जवाब देना आसान होगा।
Blog post की publish date, title और URL शामिल हैं
User के सवाल दर्ज करने के बाद, retrieval प्रक्रिया के दौरान, blog post title, publish date और URL भी chatbot को provide किए जाते हैं। इसलिए chatbot अब users से पूछे जाने पर specific URL या publish dates वापस दे सकता है।
यह validation में मदद करेगा जब users double-check करना चाहते हैं या पूरा blog post पढ़ना चाहते हैं।
2. Security
बहुत basic security measures implement की गई हैं जैसे:
- API पर भेजे जाने से पहले inputs को validate करना
- Basic rate limiter function यानी आप chatbot से प्रति मिनट कितने सवाल पूछ सकते हैं
- Queries और chatbot responses को OpenAI moderation API से validate किया जाता है
3. GPT-4 बनाम GPT-3.5
मैं chatbot के लिए cost की वजह से GPT-3.5 model का उपयोग जारी रखूँगा। GPT-4 के जवाब GPT-3.5 से बहुत बेहतर हैं। हालाँकि, क्योंकि मुझे अभी conversation history maintain करते हुए context window length के साथ काम करने का सबसे अच्छा तरीका नहीं मिला है, complex सवालों के लिए जहाँ chatbot को कई posts देखने की ज़रूरत होती है, GPT-4 से प्रति जवाब cost $0.15 या $0.20 जैसी ऊँची है। मैं अभी इस pet project के लिए वो afford नहीं कर सकता। T.T
बस इतना अभी के लिए। अगर आप chatbot try करना चाहते हैं, यह फिर से है। यह link chatbot के बारे में मेरी पिछली post का है। आपका अच्छा weekend हो।
अगर आपने अपना खुद का chatbot बनाया है या embeddings और chunking के साथ काम किया है, तो मैं उत्सुक हूँ — आपके लिए कौन सा chunk size और approach सबसे अच्छा काम किया? मैं अभी भी experiment कर रहा हूँ :)
Chatbot यात्रा में आगे: कुछ महीनों बाद, मैंने LangChain और FAISS का उपयोग करके पूरा chatbot scratch से rebuild किया — How I Emerged From Coding Quicksand With an AI Agent।
शुभकामनाओं सहित,
Chandler
P.S.: Andrew Ng द्वारा पढ़ाया गया Generative AI for Everyone का नया course निराश नहीं करता। यह एक Free course है, जो Generative AI के बारे में सामान्य ज्ञान देगा, यह कि typical Gen AI software या web applications कैसे बनाई जाती हैं, आदि। यह काफी छोटा भी है इसलिए आप सभी videos एक weekend में देख सकते हैं।
