OpenAI کے خود تیار کردہ چپس کی منفرد خصوصیات کیا ہیں؟

فی الحال، بہت سی ٹیکنالوجی کمپنیاں ہیں جنہوں نے اپنی چپس تیار کی ہیں۔ تو، OpenAI کے خود تیار کردہ چپس کو گوگل اور ایمیزون جیسی کمپنیوں کے خود تیار کردہ چپس سے کیا فرق ہے؟

سب سے پہلے، OpenAI کی خود تیار کردہ چپس خالصتاً ان کے اپنے ماڈل کی تربیت کے مقاصد کے لیے ہیں، جو کہ گوگل اور Amazon جیسی کمپنیوں کے تجارتی ماڈلز سے مختلف ہیں جو صارفین کے کلاؤڈ سرورز پر استعمال کے لیے خود تیار کردہ چپس فراہم کرنے پر توجہ مرکوز کرتی ہیں۔ Google اور Amazon جیسی کمپنیوں کے لیے، جو کلاؤڈ سروس کے صارفین کے لیے خود تیار کردہ چپس فراہم کرتی ہیں، ماڈلز کے استعمال کے منظرنامے واضح نہیں ہیں، استعمال شدہ سافٹ ویئر اسٹیک غیر یقینی ہے، اور تربیت یافتہ مخصوص ماڈلز بھی غیر یقینی ہیں۔ لہذا، ان کے چپ ڈیزائن کو مطابقت کی ضروریات کو پورا کرنے کی ضرورت ہے، اکثر ہر تربیتی کام کے لیے کارکردگی اور کارکردگی کی قربانی دیتے ہیں۔ دوسری طرف، OpenAI کے خود تیار کردہ چپس صرف ان کے اپنے استعمال کے لیے ہیں، اور جن ماڈلز کو تربیت دی جا رہی ہے وہ بہت مخصوص ہیں: ٹرانسفارمرز پر مبنی بڑی زبان کے ماڈل۔ OpenAI کے پاس استعمال ہونے والے سافٹ ویئر اسٹیک پر بھی مکمل کنٹرول ہے، جو کہ انتہائی ہدف والے ڈیزائن کو یقینی بناتا ہے۔

دوسرا فرق اوپن اے آئی کی ماڈلز کے بارے میں گہری سمجھ میں ہے۔ OpenAI جنریٹو ماڈلز کے شعبے میں ایک سرکردہ کمپنی ہے، اور فی الحال، GPT سیریز کے ماڈل اب بھی بہترین کارکردگی کا مظاہرہ کرنے والے جنریٹو ماڈل ہیں۔ OpenAI نے جنریٹو ماڈل ریسرچ میں برسوں کا تجربہ جمع کیا ہے، جس کا مطلب ہے کہ وہ جنریٹو ماڈلز کے لیے مختلف ڈیزائن سلوشنز کی گہری سمجھ رکھتے ہیں۔ اس کا مطلب یہ ہے کہ OpenAI کے پاس چپ ماڈل کو ڈیزائن کرنے، چپس کی خصوصیات کے مطابق ماڈل ڈیزائن کرنے، اور ماڈلز کی ضروریات کی بنیاد پر چپس کے ڈیزائن میٹرکس کی وضاحت کرنے کی صلاحیت اور علم ہے۔ اس میں کمپیوٹیشنل یونٹس، سٹوریج، اور چپ انٹر کنیکٹس کے درمیان تجارت کو بہتر بنانا شامل ہے۔ مزید برآں، اوپن اے آئی کے پاس انڈسٹری میں مستقبل کے بڑے ماڈلز کے لیے سب سے واضح روڈ میپ ہے، جس کا مطلب ہے کہ اگر خود تیار کردہ چپس کو تیار ہونے میں کئی سال لگ جائیں، تب بھی چپس کے پرانے ہونے کے بارے میں فکر کرنے کی ضرورت نہیں ہے۔ بڑے پیمانے پر پیداوار. اس نقطہ نظر سے، OpenAI کے خود تیار کردہ چپس گوگل اور Amazon سے کافی مختلف ہیں، لیکن وہ Tesla کی Dojo سیریز کے خود تیار کردہ ماڈل ٹریننگ چپس کے ساتھ کچھ مماثلت رکھتے ہیں۔ تاہم، جو چیز OpenAI کو الگ کرتی ہے وہ یہ ہے کہ ماڈل ٹریننگ کے لیے ان کی مانگ واضح طور پر Tesla کی نسبت بہت زیادہ ہے، جو OpenAI کے لیے خود تیار کردہ چپس کی اہمیت کو اور بھی بڑھا دیتی ہے۔

OpenAI کی یہ منفرد خصوصیات اسے اعلیٰ کارکردگی والی چپس حاصل کرنے کا موقع فراہم کرتی ہیں جو خاص طور پر غیر روایتی مقاصد کے لیے ڈیزائن کی گئی ہیں۔ حال ہی میں، Nvidia نے ایک سرکاری بلاگ پوسٹ میں اپنے GPUs کی کارکردگی میں بہتری کے پیٹرن کا تجزیہ کیا۔ ایک دہائی سے بھی کم عرصے میں Nvidia کی GPU کمپیوٹنگ پاور میں 1000 گنا اضافہ ہوا ہے۔ تجزیہ کے مطابق، کمپیوٹنگ کی طاقت میں اس 1000 گنا اضافے کے اندر، کمپیوٹیشنل درستگی کی اصلاح (جیسے کہ اصل 16 بٹ فلوٹنگ پوائنٹ کیلکولیشن کی بجائے 8 بٹ یا حتیٰ کہ 32 بٹ فلوٹنگ پوائنٹ نمبرز کا استعمال) کو وقف کے ساتھ ملا کر۔ کمپیوٹنگ ماڈیولز نے کارکردگی میں 16 گنا بہتری حاصل کی۔ اس کے علاوہ، چپ فن تعمیر اور مرتب کرنے والوں کے درمیان باہمی تعاون سے کارکردگی میں 12.5 گنا اضافہ ہوا۔ دوسری طرف، سیمی کنڈکٹر ٹیکنالوجی کے ذریعے لائی گئی کارکردگی میں بہتری صرف دو گنا تھی۔ لہذا، یہ دیکھا جا سکتا ہے کہ اعلی کارکردگی والے کمپیوٹنگ چپس کے میدان میں، الگورتھم اور چپ آرکیٹیکچر کو-ڈیزائن (بشمول ماڈل الگورتھم اور کمپائلر الگورتھم) کارکردگی میں بہتری کے لیے اہم محرک قوتیں ہیں (جسے ہوانگ کا قانون بھی کہا جاتا ہے)۔ اس نقطہ نظر سے، OpenAI واقعی ایک بہت فائدہ مند پوزیشن میں ہے۔ الگورتھم کی اپنی گہری سمجھ کے ساتھ، OpenAI سے توقع ہے کہ وہ ہوانگ کے قانون کا مکمل فائدہ اٹھائے گا اور اگلے چند سالوں میں اعلیٰ کارکردگی والے کمپیوٹنگ چپ ڈیزائن حاصل کرے گا۔

اوپن اے آئی کے خود تیار کردہ چپس کے چیلنجز

اس کے فوائد کے علاوہ، OpenAI کے خود تیار کردہ چپس کے لیے درحقیقت چیلنجز بھی ہیں۔

اعلی کارکردگی والے چپس کا بنیادی چیلنج، جو بڑے ماڈلز کے لیے بنائے گئے ہیں، ان کی پیچیدگی میں مضمر ہے۔ چپ ڈیزائن کے نقطہ نظر سے، اعلی کارکردگی والے کمپیوٹنگ چپ کے اندر کمپیوٹیشنل یونٹس، میموری تک رسائی، اور انٹر کنیکٹیویٹی کے لیے محتاط غور و فکر کی ضرورت ہے۔ مثال کے طور پر، بڑے ماڈلز کی ضروریات کو پورا کرنے کے لیے، بہت زیادہ امکان ہے کہ چپ HBM (ہائی بینڈوتھ میموری) کو استعمال کرے گی۔ اعلی توانائی کی کارکردگی اور اسکیل ایبلٹی کو حاصل کرنے کے لیے، اعلیٰ پیداوار کے لیے جدید پروسیس ٹیکنالوجیز اور چپ ڈائی اسٹیکنگ تکنیکوں کے استعمال کی توقع ہے۔ تقسیم شدہ کمپیوٹنگ کو اکثر بڑے ماڈلز کے لیے استعمال کیا جاتا ہے، جو چپس کے درمیان باہمی ربط کو اہم بناتا ہے (جی پی یوز کے لیے Nvidia کی NVLINK اور InfiniBand ٹیکنالوجیز کی طرح، OpenAI کو بھی اسی طرح کی ٹیکنالوجیز کی ضرورت ہوگی)۔ ان میں سے ہر ایک چپ ڈیزائن کے اجزاء کو لاگو کرنے کے لیے ایک تجربہ کار ٹیم کی ضرورت ہوتی ہے، اور ان کو ایک ساتھ ضم کرنا مجموعی کارکردگی کو یقینی بنانے کے لیے بہترین آرکیٹیکچرل ڈیزائن کا مطالبہ کرتا ہے۔ ان چیلنجنگ ڈیزائنوں سے نمٹنے کے لیے مختصر مدت کے اندر ایک تجربہ کار ٹیم بنانا OpenAI کے لیے ایک اہم چیلنج ہوگا۔

چپ ڈیزائن کے علاوہ، OpenAI کے لیے ایک اور اہم چیلنج سافٹ ویئر اور ہارڈ ویئر کے درمیان ہم آہنگی کو یقینی بنانا ہے، یا دوسرے لفظوں میں، ایک اعلیٰ کارکردگی والے کمپائلر اور متعلقہ سافٹ ویئر ایکو سسٹم کو ڈیزائن کرنا ہے۔ فی الحال، Nvidia GPUs کا ایک اہم فائدہ ان کا CUDA سافٹ ویئر سسٹم ہے، جس نے ایک دہائی سے زیادہ عرصے میں اعلیٰ کارکردگی اور مطابقت کو جمع کیا ہے۔ OpenAI کی خود تیار کردہ چپ میں، کمپائلر سسٹم کو بھی چپ کی کمپیوٹنگ پاور کو مکمل طور پر استعمال کرنے کے لیے CUDA جیسی اعلیٰ کارکردگی حاصل کرنے کی ضرورت ہے۔ دیگر ٹیک کمپنیوں کے برعکس جو کلاؤڈ سروسز کے لیے چپس تیار کرتی ہیں، OpenAI کی چپس بنیادی طور پر اندرونی استعمال کے لیے ہوتی ہیں، اس لیے ماحولیاتی نظام اور صارف کے ماڈل سپورٹ کے بارے میں تشویش کم ہے۔ تاہم، مرتب کرنے والے کی کارکردگی کو Nvidia کے CUDA سے رجوع کرنے کی ضرورت ہے۔ درحقیقت، OpenAI پہلے ہی اس شعبے میں سرمایہ کاری کر چکا ہے۔ اس سال جولائی میں، اوپن اے آئی نے اوپن سورس ٹریٹن زبان پر مبنی اپنے AI ماڈل کمپلیشن حل کا اعلان کیا۔ یہ ٹرائٹن کمپائلر اور LLVM کمپائلر کا استعمال کرتے ہوئے Python کوڈ کو انٹرمیڈیٹ نمائندگی (IR) میں مرتب کرتا ہے، جسے پھر PTX کوڈ میں مرتب کیا جا سکتا ہے اور براہ راست GPUs اور AI ایکسلریٹروں پر چلایا جا سکتا ہے جو PTX کو سپورٹ کرتے ہیں۔ اس نقطہ نظر سے، کمپائلرز میں OpenAI کی سرمایہ کاری اس کے خود تیار کردہ چپس کے پیش خیمہ کے طور پر کام کر سکتی ہے۔

آخر میں، چپ کی مخصوص پیداوار بھی ایک چیلنج بن جائے گی۔ جیسا کہ پہلے ذکر کیا گیا ہے، اوپن اے آئی کے جدید پروسیس نوڈس اور جدید پیکیجنگ ٹیکنالوجیز کو استعمال کرنے کا امکان ہے۔ لہذا، پیداوار کے دوران اعلی پیداوار کو یقینی بنانا اور، زیادہ اہم بات یہ ہے کہ آنے والے سالوں میں اعلی درجے کی پیکیجنگ اور پروسیس نوڈس کی ممکنہ طور پر سخت فراہمی کے اندر بڑے پیمانے پر پیداوار کے لیے کافی پیداواری صلاحیت حاصل کرنا ایک ایسا مسئلہ ہو گا جسے حل کرنے کی ضرورت ہے۔

ان تین چیلنجوں پر غور کرتے ہوئے، ہم سمجھتے ہیں کہ OpenAI کے خود تیار کردہ چپ پلان میں متعدد مراحل شامل ہو سکتے ہیں۔ سب سے پہلے، تکنیکی اور پیداواری مسائل کے مکمل طور پر حل ہونے سے پہلے، OpenAI Microsoft (اس کا سب سے بڑا شیئر ہولڈر، جس کا اپنا چپ پلان ایتھینا بھی ہے) اور Nvidia (یا AMD) کے ساتھ تعاون کرنے کا انتخاب کر سکتا ہے۔ وہ نیم حسب ضرورت چپس کا انتخاب کر سکتے ہیں، جہاں OpenAI کچھ مخصوص خصوصیات اور یہاں تک کہ کچھ دانشورانہ املاک (IP) بھی فراہم کرتا ہے جن کی چپ کو سپورٹ کرنے کی ضرورت ہوتی ہے، جب کہ باہمی شراکت دار چپ کے ڈیزائن اور پروڈکشن کو سنبھالتے ہیں۔ تکنیکی اور پیداواری مسائل کے حل ہونے کے بعد، OpenAI بہترین کارکردگی اور کنٹرولیبلٹی کو حاصل کرتے ہوئے، مکمل طور پر اپنی مرضی کے مطابق چپس میں بھاری سرمایہ کاری کرنے کا انتخاب کر سکتا ہے۔