बिंदुओं को जोड़ना: "AI के साथ काम का भविष्य" और GPT 4 technical paper

लगभग पाँच सप्ताह पहले, मैंने एक लेख लिखा था जिसमें Microsoft Office 365 में OpenAI और ChatGPT की functionalities को कैसे एकीकृत किया जा सकता है, इस पर कुछ educated guesses लगाई थीं। कल Microsoft के "The future of work with AI" event के दौरान, उन्होंने हमें दिखाया कि Office 365 और Microsoft graph के साथ OpenAI technologies (अधिक सटीक रूप से Large language model) के integration के प्रारंभिक iterations क्या कर सकते हैं।

इस सप्ताह की शुरुआत में, OpenAI ने GPT4 को सार्वजनिक रूप से पेश भी किया। यदि आपने live stream video नहीं देखा, तो मैं देखने की सिफारिश करता हूँ। यह दिखाता है कि GPT4 और क्या-क्या कर सकता है और OpenAI के साथ संबंध को देखते हुए ये capabilities जल्द ही Microsoft ecosystem में कैसे एकीकृत होंगी।

इस blog post में, मैं Microsoft 365 Copilot की क्षमताओं पर अपनी प्रतिक्रियाएँ साझा करूँगा और फिर GPT 4 technical paper में गहरे उतरूँगा, खासकर जोखिमों और सुरक्षा के बारे में। यदि आप "Potential for risky emergent behaviors" (जैसे long-term planning, power-seeking, और तेजी से "agentic" होते व्यवहार) के जोखिम के बारे में पढ़ना चाहते हैं, तो आप table of content का उपयोग करके नीचे उस भाग पर सीधे जा सकते हैं।

Copilot की विभिन्न क्षमताएँ

मूल post में मैंने जिन सभी use cases का उल्लेख किया था, वे Microsoft के demo video में हैं और उससे भी अधिक। आप नीचे विभिन्न Copilot capabilities देख सकते हैं:

• Copilot in Excel
• Outlook यानी Email
• Copilot in Teams meeting
• Copilot meeting recap
• Copilot in Powerpoint

दो capabilities/products जिन्होंने मुझे हैरान किया और जो मुझे सच में पसंद हैं:

• Business chat: यह वास्तव में उपयोगी हो सकता है क्योंकि बड़े organizations में एक निरंतर समस्या knowledge transfer और knowledge management की है। यदि मैं demo को सही ढंग से समझता हूँ, तो अब आप business chatbot से natural language का उपयोग करके सभी organization data में जानकारी खोजने के लिए कह सकते हैं — और यह बहुत अच्छा है! यह chatGPT जैसा है लेकिन आपके सभी enterprise data का उपयोग करता है।
• Low code solution AI का उपयोग करके: users natural language का उपयोग करके विचारों को जीवन में ला सकते हैं। यह छोटे पैमाने के apps बनाने की क्षमता को democratize करने का एक शानदार तरीका है। अपने bosses या engineering team को proposal जमा करने, prioritization process से गुजरने, अपने proposal को approve और build करवाने की कोई जरूरत नहीं। Low code solution के साथ, अधिक लोग अपनी niche समस्याओं को हल करने के लिए enterprise data का उपयोग करके छोटे apps बना सकते हैं :)

क्या आपको लगता है कि हम बहुत तेजी से आगे बढ़ रहे हैं?

GPT 4 technical paper यहाँ है। मुझे मानना होगा, यह गैर-तकनीकी पाठकों (जैसे मेरे जैसे) के लिए काफी घना दस्तावेज है, लेकिन मैं आपका ध्यान pages 4-20 की तरफ दिलाना चाहता हूँ जहाँ OpenAI ने विभिन्न safety challenges पर चर्चा की है। मैंने इस section को पढ़ने में काफी समय बिताया और मुझे लगता है कि यह पढ़ने लायक है। उनके द्वारा explore किए जा रहे जोखिमों के उदाहरण हैं:

• Hallucinations (मतिभ्रम)
• Harmful content (हानिकारक सामग्री)
  • Representation, allocation, और service की गुणवत्ता के नुकसान
  • Disinformation और influence operations
• पारंपरिक और गैर-पारंपरिक हथियारों का प्रसार
• Privacy (गोपनीयता)
• Cybersecurity (साइबर सुरक्षा)
• Risky emergent behaviors की संभावना
• Economic impacts (आर्थिक प्रभाव)
• Acceleration (त्वरण)
• Overreliance (अत्यधिक निर्भरता)

यहाँ technical paper से प्रत्येक जोखिम के बारे में chatGPT 4 का सारांश और मेरी टिप्पणी है।

Hallucinations

सारांश: GPT-4 के "hallucinate" करने की संभावना, जिसका अर्थ है कुछ स्रोतों के संबंध में अर्थहीन या असत्य सामग्री उत्पन्न करना।

जैसे-जैसे ये models तेजी से convincing और believable होते जाते हैं, users उन पर अत्यधिक निर्भर हो सकते हैं, जो विशेष रूप से हानिकारक हो सकता है। लेख आगे बताता है कि closed और open-domain दोनों संदर्भों में GPT-4 की hallucination संभावना को मापने के तरीकों और model को hallucinate करने की प्रवृत्ति को कम करने के लिए कैसे train किया गया, इस पर चर्चा है। Internal evaluations ने दिखाया कि GPT-4 ने open (19% सुधार) और closed-domain hallucinations (29% सुधार) दोनों से बचने में नवीनतम GPT-3.5 model की तुलना में काफी बेहतर प्रदर्शन किया।

मेरी टिप्पणी: इसका मतलब है कि chatGPT 4 किसी दस्तावेज से सामग्री को बेहतर तरीके से summarize कर सकता है (यानी closed-domain situation में)।

Representation, allocation और service की गुणवत्ता के नुकसान

सारांश: लेख कहता है कि GPT-4 जैसे language models पूर्वाग्रहों को बढ़ा सकते हैं और stereotypes को perpetuate कर सकते हैं, क्योंकि वे social biases और worldviews को reinforce करते रहते हैं। Evaluation process में पाया गया कि GPT-4 में कुछ marginalized समूहों के लिए harmful stereotypical और demeaning associations सहित विशिष्ट biases और worldviews को reproduce करने की क्षमता है। कुछ प्रकार के bias को refusals के लिए training के माध्यम से कम किया जा सकता है, लेकिन यह ध्यान देना महत्वपूर्ण है कि refusals और अन्य mitigations कुछ संदर्भों में bias को बढ़ा सकते हैं। इसके अतिरिक्त, GPT-4 जैसी AI systems में संपूर्ण ideologies, worldviews, सत्य और असत्य को reinforce करने और उन्हें बिना किसी anticipatory work के cement या lock in करने की क्षमता है।

आप नीचे paper से कुछ उदाहरण देख सकते हैं।

Disinformation और influence operations

सारांश: लेख इस बात पर चर्चा करता है कि GPT-4 कैसे news articles, tweets, dialogue और emails सहित believably realistic और targeted content generate कर सकता है।

इस क्षमता का दुरुपयोग individuals का शोषण करने या disinformation और influence operations के लिए किया जा सकता है। GPT-4 का related language tasks में प्रदर्शन इसे misleading लेकिन persuasive content generate करने में GPT-3 से बेहतर बनाता है, जिससे यह जोखिम बढ़ता है कि bad actors इसका उपयोग misleading content बनाने और समाज के भविष्य के epistemic views को shape करने के लिए कर सकते हैं। लेख कहता है कि GPT-4 कई domains में human propagandists से मुकाबला कर सकता है, खासकर यदि एक human editor के साथ जोड़ा जाए, लेकिन hallucinations उन क्षेत्रों में propagandists के लिए इसकी effectiveness को कम कर सकते हैं जहाँ reliability महत्वपूर्ण है।

मेरी टिप्पणी: मुझे नहीं पता कि कितने लोग OpenAI का technical paper पढ़ेंगे या वास्तव में जोखिमों के बारे में यह appendix पढ़ेंगे। मुझे खुशी है कि OpenAI जोखिमों और उन्हें कम करने के लिए क्या कर रहे हैं, इस बारे में अपेक्षाकृत पारदर्शी है। फिर भी, यह मुझे रोमांच और बहुत सोचने पर मजबूर करता है।

पारंपरिक और गैर-पारंपरिक हथियारों का प्रसार

सारांश: लेख इस बात पर चर्चा करता है कि GPT-4 की capabilities में dual-use potential है और इसे nuclear, radiological, biological और chemical हथियारों के विकास, अधिग्रहण और प्रसार सहित वाणिज्यिक और सैन्य दोनों applications के लिए उपयोग किया जा सकता है।

Red team testing में पाया गया कि GPT-4 ढूँढने में मुश्किल जानकारी generate कर सकता है और users द्वारा research में बिताया गया समय कम कर सकता है, जो इसे बिना formal scientific training वाले individuals और non-state actors के लिए potentially उपयोगी बनाता है। हालाँकि, model की generations अक्सर बहुत अस्पष्ट, अव्यावहारिक या तथ्यात्मक त्रुटियों से ग्रस्त थीं।

Privacy

सारांश: यह ध्यान देना महत्वपूर्ण है कि इन प्रयासों के बावजूद privacy के लिए अभी भी संभावित जोखिम हैं। उदाहरण के लिए, भले ही training dataset से personal information हटा दी जाए, model फिर भी उन patterns के माध्यम से personal information का अनुमान लगाने में सक्षम हो सकता है जो वह सीखता है।

Cybersecurity

सारांश: यह सामग्री cybersecurity operations में GPT-4 की capabilities पर चर्चा करती है, विशेष रूप से vulnerability discovery और exploitation, और social engineering में। यह उजागर करती है कि GPT-4 की इन क्षेत्रों में कुछ सीमाएँ हैं, जिसमें "hallucinations" generate करने की प्रवृत्ति और इसकी सीमित context window शामिल है।

Risky emergent behaviors की संभावना

सारांश: लेख GPT-4 में novel capabilities के उभरने से जुड़े संभावित जोखिमों पर चर्चा करता है, जैसे long-term planning, power-seeking, और तेजी से "agentic" होता व्यवहार। Alignment Research Center (ARC) को model में power-seeking behavior के जोखिमों का आकलन करने के लिए early access दिया गया था, विशेष रूप से autonomously replicate और resources acquire करने की क्षमता। Preliminary tests में पाया गया कि GPT-4 task-specific fine-tuning के बिना autonomous replication में ineffective था।

लेख यह भी उजागर करता है कि independent high-impact decision-makers द्वारा GPT-4 जैसे models से decision assistance पर निर्भरता से systemic risks पैदा हो सकते हैं।

मेरी टिप्पणी: अच्छा है कि OpenAI red teams से इस क्षेत्र की जाँच करवा रहा है। लेकिन यह बहुत महत्वपूर्ण लगता है कि Microsoft या अन्य कंपनियाँ नए models जारी करते समय इस क्षेत्र में अपने प्रयासों के बारे में सार्वजनिक जानकारी न दें।

Economic impacts

सारांश: लेख GPT-4 के अर्थव्यवस्था और कार्यबल पर संभावित प्रभाव पर चर्चा करता है, जिसमें नौकरी विस्थापन और industrial organization और शक्ति संरचनाओं में बदलाव की संभावना शामिल है। यह ध्यान देता है कि जबकि AI और generative models human workers को augment कर सकते हैं और job satisfaction में सुधार कर सकते हैं, उनके परिचय ने ऐतिहासिक रूप से inequality बढ़ाई है।

Acceleration

सारांश: लेख GPT-4 के broader AI research और development ecosystem पर संभावित प्रभाव के बारे में OpenAI की चिंताओं पर चर्चा करता है, जिसमें acceleration dynamics से safety standards में गिरावट और AI से जुड़े societal risks शामिल हैं।

Overreliance

सारांश: लेख GPT-4 पर overreliance के जोखिम पर चर्चा करता है, जहाँ users model पर अत्यधिक भरोसा और निर्भरता करते हैं, जिससे संभावित रूप से unnoticed mistakes और अपर्याप्त oversight हो सकती है।

जोखिमों पर OpenAI CEO, CTO

कुछ दिन पहले, ABC news ने Open AI CEO Sam Altman और तत्कालीन CTO Mira Murati का interview प्रकाशित किया। (नोट: Mira Murati ने सितंबर 2024 में OpenAI छोड़ दिया।) उन्होंने जोखिमों के बारे में बहुत बात की, और आप नीचे वीडियो देख सकते हैं।

https://www.youtube.com/watch?app=desktop&v=540vzMlf-54

निष्कर्ष

Microsoft Office 365 में OpenAI के language model का एकीकरण विभिन्न उद्योगों में productivity, knowledge transfer और automation बढ़ाने की अपार संभावना रखता है। GPT 4 निस्संदेह पिछले versions की तुलना में बहुत अधिक capable है। हालाँकि, जो बात मुझे सबसे अधिक प्रभावित करती है वह वह गति है जिस पर OpenAI और Microsoft दोनों आगे बढ़ रहे हैं — और यह AI development और adoption के समग्र acceleration की ओर ले जाता है। मैं सामान्यतः AI development के बारे में आशावादी हूँ, लेकिन मुझे लगता है कि हमें यह सुनिश्चित करना होगा कि विभिन्न जोखिमों के बारे में चर्चा mainstream हो जाए। मैं गलत हो सकता हूँ, लेकिन ऐसा लगता है कि development की गति implications के बारे में सोचने की हमारी क्षमता से आगे निकल रही है।

आप क्या सोचते हैं — क्या हम AI के साथ बहुत तेज चल रहे हैं, या यह सही गति है? मुझे आपका दृष्टिकोण जानना अच्छा लगेगा।

शुभकामनाओं सहित, Chandler