Google DeepMind AI researcher quits
Artificial Intelligence को लेकर एक बार फिर गंभीर चेतावनी सामने आई है। Google DeepMind की AGI Safety Team में काम करने वाले शोधकर्ता Josh Engels ने कंपनी छोड़ दी है।
Engels ने करीब तीन सप्ताह पहले DeepMind से इस्तीफा दिया था। इसके बाद वह स्वतंत्र AI evaluation organisation METR से जुड़ गए।
अपने X पोस्ट में Engels ने बताया कि उन्हें DeepMind में अपना काम पसंद था। उन्होंने Anthropic और OpenAI से मिले नौकरी के प्रस्तावों को भी ठुकरा दिया।
उनके अनुसार, Advanced AI को लेकर इस समय दांव बहुत बड़ा हो चुका है। इसलिए उन्होंने AI safety पर काम करने को प्राथमिकता दी।
Engels ने चेतावनी दी कि अगले पांच वर्षों में AI systems से बहुत बड़ा नुकसान होने की एक गंभीर संभावना है। उन्होंने कोई निश्चित probability नहीं बताई, लेकिन कहा कि जोखिम इतना बड़ा है कि इसे दुनिया की सबसे महत्वपूर्ण समस्याओं में से एक माना जाना चाहिए।
उनकी मुख्य चिंता यह है कि AI की capabilities जिस तेजी से बढ़ रही हैं, उस गति से AI alignment और safety research आगे बढ़ रही है या नहीं, यह अभी स्पष्ट नहीं है।
Engels की चिंता का एक प्रमुख कारण है Recursive Self-Improvement यानी RSI।
इसका मतलब ऐसे AI systems से है जो खुद को बेहतर बनाने या और अधिक सक्षम AI systems बनाने में मदद कर सकें।
अगर यह प्रक्रिया लगातार तेज होती गई, तो एक AI system अपने से अधिक शक्तिशाली successor बनाने में सक्षम हो सकता है।
ऐसी स्थिति में AI capabilities और human control के बीच अंतर तेजी से बढ़ सकता है।
Engels ने हाल के कुछ AI incidents का भी उल्लेख किया। इनमें AI systems द्वारा collusion, hacking, अपने actions को छिपाने और humans के साथ social engineering जैसे व्यवहार शामिल हैं।
उनके मुताबिक, चिंता केवल किसी एक घटना की गंभीरता को लेकर नहीं है। सवाल यह है कि भविष्य में अधिक autonomous AI systems कितने भरोसेमंद होंगे।
Engels का कहना है कि Recursive Self-Improvement की स्थिति में AI को पर्याप्त रूप से सुरक्षित रखने का तरीका अभी स्पष्ट नहीं है।
Josh Engels का इस्तीफा ऐसे समय आया है जब AI industry के अंदर से लगातार safety warnings सामने आ रही हैं।
कुछ दिन पहले Anthropic researcher Jacob Coxon ने भी इस्तीफा दिया था। उन्होंने AI development की रफ्तार और self-improving AI systems को लेकर गंभीर चिंता जताई थी।
इसके बाद Anthropic CEO Dario Amodei ने frontier AI development की गति को धीमा करने की जरूरत बताई। उन्होंने independent evaluators को advanced AI systems तक अधिक पहुंच देने का सुझाव भी दिया।
अब बहस का मुख्य सवाल यही है कि क्या AI capabilities safety research से ज्यादा तेजी से आगे बढ़ रही हैं?
Engels का कहना है कि AI development को इस तरह pace किया जाना चाहिए कि capabilities इंसानों की alignment और control करने की क्षमता से आगे न निकल जाएं।
METR में वह AI misalignment के कारणों और मौजूदा safety safeguards की प्रभावशीलता पर काम करेंगे।
साथ ही वह यह समझने की कोशिश करेंगे कि AI industry वास्तव में advanced AI के alignment problem को हल करने की दिशा में आगे बढ़ रही है या नहीं।
इसलिए Engels का इस्तीफा AI industry में बढ़ती safety concerns का एक और महत्वपूर्ण संकेत माना जा रहा है।