ما هي الميزات الفريدة لرقائق OpenAI ذاتية التطوير؟

حاليًا، هناك العديد من شركات التكنولوجيا التي طورت شرائحها الخاصة. إذًا، ما الذي يجعل رقائق OpenAI ذاتية التطوير مختلفة عن الرقائق المطورة ذاتيًا لشركات مثل Google وAmazon؟

أولاً، إن شرائح OpenAI ذاتية التطوير هي فقط لأغراض تدريب النماذج الخاصة بها، وهو ما يختلف عن النماذج التجارية لشركات مثل Google وAmazon التي تركز على توفير شرائح ذاتية التطوير لاستخدامها على الخوادم السحابية من قبل العملاء. بالنسبة لشركات مثل جوجل وأمازون، التي تقدم شرائح ذاتية التطوير لعملاء الخدمة السحابية، فإن سيناريوهات استخدام النماذج غير واضحة، ومجموعة البرامج المستخدمة غير مؤكدة، والنماذج المحددة التي يتم تدريبها غير مؤكدة أيضًا. لذلك، تحتاج تصميمات الرقائق الخاصة بهم إلى تلبية متطلبات التوافق، وغالبًا ما يتم التضحية بالكفاءة والأداء لكل مهمة تدريبية. من ناحية أخرى، فإن رقائق OpenAI ذاتية التطوير مخصصة للاستخدام الخاص فقط، والنماذج التي يتم تدريبها محددة للغاية: نماذج لغة كبيرة تعتمد على المحولات. تتمتع OpenAI أيضًا بالتحكم الكامل في حزمة البرامج المستخدمة، مما يضمن تصميمًا مستهدفًا للغاية.

يكمن الاختلاف الثاني في فهم OpenAI العميق للنماذج. OpenAI هي شركة رائدة في مجال النماذج التوليدية، وحاليًا لا تزال نماذج سلسلة GPT هي النماذج التوليدية الأفضل أداءً. لقد تراكمت لدى OpenAI سنوات من الخبرة في أبحاث النماذج التوليدية، مما يعني أن لديهم فهمًا عميقًا لحلول التصميم المختلفة للنماذج التوليدية. وهذا يعني أن OpenAI لديها القدرة والمعرفة اللازمة للقيام بالتصميم المشترك لنماذج الرقائق، وتصميم النماذج وفقًا لخصائص الرقائق، وتحديد مقاييس تصميم الرقائق بناءً على متطلبات النماذج. يتضمن ذلك تحسين المفاضلات بين الوحدات الحسابية والتخزين والوصلات البينية للرقائق. علاوة على ذلك، لدى OpenAI خريطة الطريق الأكثر وضوحًا للنماذج الكبيرة التوليدية المستقبلية في الصناعة، مما يعني أنه حتى لو استغرق الأمر عدة سنوات حتى تصبح الرقائق المطورة ذاتيًا جاهزة، فلا داعي للقلق بشأن أن تصبح الرقائق قديمة بمجرد ظهورها. الإنتاج بكثافة الإنتاج بكميات ضخمة. من هذا المنظور، تختلف شرائح OpenAI ذاتية التطوير تمامًا عن تلك الموجودة في Google وAmazon، لكنها تشترك في بعض أوجه التشابه مع سلسلة Tesla's Dojo من شرائح التدريب النموذجية المطورة ذاتيًا. ومع ذلك، فإن ما يميز OpenAI هو أن الطلب على نماذج التدريب أعلى بكثير من طلب Tesla، مما يجعل أهمية الرقائق المطورة ذاتيًا أكبر بالنسبة لـ OpenAI.

هذه الميزات الفريدة لـ OpenAI تمنحها الفرصة لتحقيق شرائح عالية الأداء مصممة خصيصًا لأغراض غير تقليدية. قامت Nvidia مؤخرًا بتحليل نمط تحسين أداء وحدات معالجة الرسومات الخاصة بها في منشور مدونة رسمي. زادت قوة الحوسبة GPU لـ Nvidia بمقدار 1000 مرة في أقل من عقد من الزمان. وفقًا للتحليل، ضمن هذه الزيادة بمقدار 1000 ضعف في قوة الحوسبة، يتم تحسين الدقة الحسابية (مثل استخدام أرقام الفاصلة العائمة 16 بت أو حتى 8 بت بدلاً من حساب الفاصلة العائمة الأصلي 32 بت) جنبًا إلى جنب مع حسابات مخصصة. حققت وحدات الحوسبة تحسنًا في الأداء بمقدار 16 ضعفًا. بالإضافة إلى ذلك، أدى التحسين التعاوني بين بنية الرقاقة والمترجمين إلى تحسين الأداء بمقدار 12.5 ضعفًا. ومن ناحية أخرى، فإن تحسن الأداء الذي حققته تكنولوجيا أشباه الموصلات كان ذو شقين فقط. لذلك، يمكن ملاحظة أنه في مجال رقائق الحوسبة عالية الأداء، يعد التصميم المشترك للخوارزميات وهندسة الرقائق (بما في ذلك خوارزميات النماذج وخوارزميات المترجم) القوى الدافعة الرئيسية لتحسين الأداء (المعروف أيضًا باسم قانون هوانغ). ومن هذا المنظور، فإن OpenAI في وضع مفيد جدًا بالفعل. ومن خلال فهمها العميق للخوارزميات، من المتوقع أن تستفيد OpenAI من قانون هوانغ بشكل كامل وتحقق تصميمات شرائح حوسبة عالية الأداء في السنوات القليلة المقبلة.

تحديات رقائق OpenAI ذاتية التطوير

بالإضافة إلى مزاياها، هناك بالفعل تحديات أمام رقائق OpenAI ذاتية التطوير.

يكمن التحدي الأساسي للرقائق عالية الأداء، المصممة للنماذج الكبيرة، في تعقيدها. من منظور تصميم الشريحة، هناك حاجة إلى دراسة متأنية للوحدات الحسابية والوصول إلى الذاكرة والاتصال البيني داخل شريحة الحوسبة عالية الأداء. على سبيل المثال، لتلبية متطلبات النماذج الكبيرة، من المحتمل جدًا أن تستخدم الشريحة HBM (ذاكرة النطاق الترددي العالي). ولتحقيق كفاءة عالية في استخدام الطاقة وقابلية للتطوير، من المتوقع استخدام تقنيات المعالجة المتقدمة وتقنيات تكديس الشرائح للحصول على إنتاجية عالية. غالبًا ما تُستخدم الحوسبة الموزعة للنماذج الكبيرة، مما يجعل الاتصال البيني بين الرقائق أمرًا بالغ الأهمية (على غرار تقنيات NVLINK وInfiniBand من Nvidia لوحدات معالجة الرسومات، سيتطلب OpenAI أيضًا تقنيات مماثلة). يتطلب كل مكون من مكونات تصميم الرقاقة هذه فريقًا من ذوي الخبرة لتنفيذها، ويتطلب دمجها معًا تصميمًا معماريًا ممتازًا لضمان الأداء العام. سيكون بناء فريق من ذوي الخبرة خلال فترة زمنية قصيرة للتعامل مع هذه التصاميم الصعبة تحديًا مهمًا لشركة OpenAI.

بالإضافة إلى تصميم الرقائق، هناك تحدي كبير آخر يواجه OpenAI وهو ضمان التآزر بين البرامج والأجهزة، أو بعبارة أخرى، تصميم مترجم عالي الأداء والنظام البيئي للبرامج ذات الصلة. حاليًا، إحدى المزايا الرئيسية لوحدات معالجة الرسوميات Nvidia هي نظام برامج CUDA الخاص بها، والذي تراكم لديه أداء عالي وتوافق على مدار أكثر من عقد من الزمن. في شريحة OpenAI ذاتية التطوير، يحتاج نظام المترجم أيضًا إلى تحقيق أداء عالٍ مثل CUDA للاستفادة الكاملة من قوة الحوسبة للرقاقة. على عكس شركات التكنولوجيا الأخرى التي تطور شرائح للخدمات السحابية، فإن شرائح OpenAI مخصصة في المقام الأول للاستخدام الداخلي، لذلك هناك قلق أقل بشأن دعم النظام البيئي ونموذج المستخدم. ومع ذلك، فإن أداء المترجم يحتاج إلى الاقتراب من أداء CUDA الخاص بـ Nvidia. في الواقع، قامت OpenAI بالفعل باستثمارات في هذا المجال في وقت سابق. في يوليو من هذا العام، أعلنت OpenAI عن حل تجميع نماذج الذكاء الاصطناعي استنادًا إلى لغة Triton مفتوحة المصدر. يقوم بتجميع كود Python إلى تمثيل وسيط (IR) باستخدام مترجم Triton ومترجم LLVM، والذي يمكن بعد ذلك تجميعه في كود PTX وتشغيله مباشرة على وحدات معالجة الرسومات ومسرعات الذكاء الاصطناعي التي تدعم PTX. ومن هذا المنظور، قد يكون استثمار شركة OpenAI في المترجمين بمثابة مقدمة لرقائقها ذاتية التطوير.

وأخيرًا، سيشكل الإنتاج المحدد للرقاقة تحديًا أيضًا. كما ذكرنا سابقًا، من المرجح أن تستخدم OpenAI عقد العمليات المتقدمة وتقنيات التغليف المتقدمة. لذلك، فإن ضمان إنتاجية عالية أثناء الإنتاج، والأهم من ذلك، الحصول على قدرة إنتاجية كافية للإنتاج بكميات كبيرة ضمن العرض الضيق المحتمل للتعبئة المتقدمة وعقد العملية في السنوات القادمة سيكون مشكلة تحتاج إلى معالجة.

وبالنظر إلى هذه التحديات الثلاثة، نعتقد أن خطة الرقائق المطورة ذاتيًا لشركة OpenAI قد تتضمن خطوات متعددة. أولاً، قبل حل المشكلات الفنية والإنتاجية بالكامل، يمكن لـ OpenAI اختيار التعاون مع Microsoft (أكبر مساهم فيها، والذي لديه أيضًا خطة شرائح خاصة به تسمى Athena) وNvidia (أو AMD). يمكنهم اختيار شرائح شبه مخصصة، حيث توفر OpenAI مواصفات معينة وحتى بعض الملكية الفكرية (IP) التي تحتاج الشريحة إلى دعمها، بينما يتولى الشركاء المتعاونون تصميم الشريحة وإنتاجها. بمجرد حل المشكلات التقنية والإنتاجية، يمكن لـ OpenAI اختيار الاستثمار بكثافة في الرقائق المخصصة بالكامل، وتحقيق الأداء الأمثل وإمكانية التحكم.