विशेषज्ञों का मिश्रण: दीपसेक की मितव्ययी सफलता के पीछे की विधि | – द टाइम्स ऑफ़ इण्डिया

चीन का दीपसेक एक एआई चमत्कार को खींच लिया है-एक शीर्ष स्तरीय का निर्माण करना कृत्रिम होशियारी अपने अमेरिकी प्रतिद्वंद्वियों की तुलना में बहुत कम खर्च करते हुए मॉडल। उस समय जब एआई दिग्गज जीपीयू और पावर-भूख डेटा केंद्रों पर अरबों जल रहे हैं, इस स्टार्ट-अप ने कम के साथ और अधिक करने का एक तरीका निकाला है।
रहस्य? स्मार्ट इंजीनियरिंग का मिश्रण, एक चतुर तंत्रिका नेटवर्क डिजाइनऔर कुछ अच्छे पुराने जमाने की गणितीय दक्षता।
बिग एआई, छोटा बजट
अधिकांश एआई फर्मों ने हजारों जीपीयू के साथ अपने डेटा केंद्रों को ढेर कर दिया- मेटा के नवीनतम एआई मॉडल कथित तौर पर 16,000 विशेष चिप्स पर चला, प्रत्येक की लागत लगभग $ 40,000 थी। दीपसेक? सिर्फ 2,000। उनकी कुल गणना लागत? एक मात्र $ 6 मिलियन, मेटा के लगभग दसवें हिस्से को खर्च करने की अफवाह है।
”विशेषज्ञों का मिश्रण‘ चाल
दीपसेक की मितव्ययी सफलता की कुंजी? एक विधि जिसे “विशेषज्ञों का मिश्रण” कहा जाता है। पारंपरिक एआई मॉडल एक विशाल तंत्रिका नेटवर्क में सब कुछ सीखने की कोशिश करते हैं। यह एक ही मस्तिष्क में सभी ज्ञान को भरने की तरह है-असंगत और शक्ति-भूखा।
दीपसेक, इसके बजाय, सिस्टम को विशेष मिनी-नेटवर्क्स में विभाजित करता है-एक कविता के लिए, एक कोडिंग के लिए, जीव विज्ञान के लिए दूसरा, और इसी तरह। प्रत्येक “विशेषज्ञ” ने अपने डोमेन पर ध्यान केंद्रित किया, जबकि एक “सामान्यवादी” नेटवर्क ने एक पुल के रूप में काम किया, उन्हें समन्वित किया।
इसे एक न्यूज़ रूम की तरह सोचें: विशेषज्ञ संवाददाता विशिष्ट बीट्स को कवर करते हैं, जबकि एक संपादक डॉट्स को जोड़ता है।
दशमलव खेल
यदि यह पर्याप्त नहीं था, तो दीपसेक ने भी शुद्ध गणित से दक्षता को निचोड़ दिया। एआई मॉडल आमतौर पर 16-बिट सटीकता का उपयोग करते हुए, संख्या क्रंचिंग की माइंड-बोगलिंग मात्रा पर भरोसा करते हैं। दीपसेक? उन्होंने इसे 8 बिट्स -हॉलिंग मेमोरी उपयोग और गणना को तेज करने के लिए खिसका दिया।
सटीक रूप से खोना जोखिम भरा लगता है, है ना? ज़रूरी नहीं। जैसे कि π से 3.14 से गुजरना सबसे व्यावहारिक उपयोगों के लिए काम करता है, ट्रिमिंग डिकिमल्स ने एआई के प्रदर्शन को चोट नहीं पहुंचाई। और जब आवश्यक हो, तो दीपसेक ने अंतिम परिणामों को 32-बिट सटीकता तक वापस बढ़ाया-उन्हें दोनों दुनिया के सर्वश्रेष्ठ को प्राप्त किया।
दूसरों ने ऐसा क्यों नहीं किया?
एआई दिग्गजों की तरह ओपनई और Google के डीपमाइंड में दिमाग और बजट है, इसलिए उन्होंने इस कोड को पहले क्यों नहीं किया? सरल: जोखिम।
एआई मॉडल का निर्माण महंगा है, और नई तकनीकों के साथ प्रयोग करने से सफलता की कोई गारंटी नहीं थी। दीपसेक ने उस जुआ को लिया और इसने भुगतान किया।
अब जब उन्होंने अपने निष्कर्ष प्रकाशित किए हैं, तो उद्योग ध्यान दे रहा है। एआई विकास बस एक बहुत सस्ता मिला। सवाल यह है कि सूट का पालन करने के लिए अगला कौन होगा?