ویژگی های منحصر به فرد تراشه های توسعه یافته OpenAI چیست؟

در حال حاضر، شرکت های فناوری زیادی وجود دارند که تراشه های خود را توسعه داده اند. بنابراین، چه چیزی تراشه های خود توسعه یافته OpenAI را با تراشه های خود توسعه یافته شرکت هایی مانند گوگل و آمازون متفاوت می کند؟

اولاً، تراشه‌های خود توسعه‌یافته OpenAI صرفاً برای اهداف آموزشی مدل‌های خودشان هستند، که با مدل‌های تجاری شرکت‌هایی مانند گوگل و آمازون که بر ارائه تراشه‌های خود توسعه‌یافته برای استفاده در سرورهای ابری توسط مشتریان تمرکز دارند، متفاوت است. برای شرکت‌هایی مانند گوگل و آمازون که تراشه‌های خود توسعه‌یافته را برای مشتریان خدمات ابری ارائه می‌کنند، سناریوهای استفاده از مدل‌ها مشخص نیستند، پشته نرم‌افزاری مورد استفاده نامشخص است، و مدل‌های خاص در حال آموزش نیز نامشخص هستند. بنابراین، طراحی تراشه‌های آن‌ها باید الزامات سازگاری را برآورده کند، که اغلب کارایی و عملکرد را برای هر کار آموزشی قربانی می‌کند. از سوی دیگر، تراشه‌های توسعه‌یافته OpenAI فقط برای استفاده خودشان هستند و مدل‌هایی که آموزش داده می‌شوند بسیار خاص هستند: مدل‌های زبان بزرگ مبتنی بر Transformers. OpenAI همچنین کنترل کاملی بر پشته نرم افزار استفاده شده دارد و طراحی بسیار هدفمند را تضمین می کند.

تفاوت دوم در درک عمیق OpenAI از مدل ها نهفته است. OpenAI یک شرکت پیشرو در زمینه مدل‌های مولد است و در حال حاضر مدل‌های سری GPT همچنان بهترین مدل‌های تولیدی هستند. OpenAI سال‌ها تجربه در تحقیقات مدل‌های مولد دارد، به این معنی که آنها درک عمیقی از راه‌حل‌های طراحی مختلف برای مدل‌های تولیدی دارند. این نشان می‌دهد که OpenAI توانایی و دانش لازم برای طراحی مشترک مدل تراشه، طراحی مدل‌ها با توجه به ویژگی‌های تراشه‌ها و تعیین معیارهای طراحی تراشه‌ها بر اساس الزامات مدل‌ها را دارد. این شامل بهینه سازی مبادلات بین واحدهای محاسباتی، ذخیره سازی و اتصالات داخلی تراشه است. علاوه بر این، OpenAI صریح ترین نقشه راه را برای مدل های بزرگ مولد آینده در صنعت دارد، به این معنی که حتی اگر چندین سال طول بکشد تا تراشه های خود ساخته آماده شوند، نیازی به نگرانی در مورد قدیمی بودن تراشه ها پس از وارد شدن به آنها نیست. تولید انبوه. از این منظر، تراشه‌های توسعه‌یافته OpenAI کاملاً متفاوت از تراشه‌های گوگل و آمازون هستند، اما شباهت‌هایی با سری تراشه‌های آموزشی مدل‌های خود ساخته Dojo تسلا دارند. با این حال، چیزی که OpenAI را متمایز می کند این است که تقاضای آنها برای آموزش مدل آشکارا بسیار بیشتر از تسلا است و اهمیت تراشه های خود ساخته را برای OpenAI بیشتر می کند.

این ویژگی های منحصر به فرد OpenAI به آن فرصت می دهد تا به تراشه های با کارایی بالا دست یابد که به طور خاص برای اهداف غیر متعارف طراحی شده اند. اخیرا انویدیا الگوی بهبود عملکرد پردازنده‌های گرافیکی خود را در یک پست وبلاگ رسمی تجزیه و تحلیل کرد. قدرت محاسباتی GPU انویدیا در کمتر از یک دهه 1000 برابر افزایش یافته است. بر اساس تجزیه و تحلیل، در این افزایش 1000 برابری در قدرت محاسباتی، بهینه سازی دقت محاسباتی (مانند استفاده از اعداد ممیز شناور 16 بیتی یا حتی 8 بیتی به جای محاسبه ممیز شناور اصلی 32 بیتی) همراه با اختصاص داده شده است. ماژول های محاسباتی به بهبود عملکرد 16 برابری دست یافتند. علاوه بر این، بهینه‌سازی مشترک بین معماری تراشه و کامپایلرها باعث بهبود عملکرد 12.5 برابری شد. از سوی دیگر، بهبود عملکرد حاصل از فناوری نیمه هادی تنها دو برابر بود. بنابراین، مشاهده می‌شود که در زمینه تراشه‌های محاسباتی با کارایی بالا، طراحی مشترک الگوریتم و معماری تراشه (شامل الگوریتم‌های مدل و الگوریتم‌های کامپایلر) نیروی محرکه اصلی برای بهبود عملکرد هستند (که به قانون هوانگ نیز معروف است). از این منظر، OpenAI در واقع در موقعیت بسیار سودمندی قرار دارد. انتظار می‌رود OpenAI با درک عمیق خود از الگوریتم‌ها، به طور کامل از قانون هوانگ استفاده کند و در چند سال آینده به طراحی تراشه‌های محاسباتی با کارایی بالا دست یابد.

چالش های تراشه های خود توسعه یافته OpenAI

علاوه بر مزایای آن، در واقع چالش هایی برای تراشه های خود ساخته OpenAI وجود دارد.

چالش اصلی تراشه های با کارایی بالا، که برای مدل های بزرگ طراحی شده اند، در پیچیدگی آنها نهفته است. از منظر طراحی تراشه، توجه دقیق برای واحدهای محاسباتی، دسترسی به حافظه و اتصالات درون تراشه محاسباتی با کارایی بالا مورد نیاز است. به عنوان مثال، برای برآوردن نیازهای مدل های بزرگ، به احتمال زیاد تراشه از HBM (حافظه با پهنای باند بالا) استفاده می کند. برای دستیابی به راندمان انرژی و مقیاس‌پذیری بالا، انتظار می‌رود از فناوری‌های فرآیند پیشرفته و تکنیک‌های انباشته چیپ برای بازده بالا استفاده شود. محاسبات توزیع‌شده اغلب برای مدل‌های بزرگ استفاده می‌شود و اتصال بین تراشه‌ها را حیاتی می‌سازد (مانند فناوری‌های NVLINK و InfiniBand انویدیا برای پردازنده‌های گرافیکی، OpenAI نیز به فناوری‌های مشابهی نیاز دارد). هر یک از این اجزای طراحی تراشه به یک تیم مجرب برای پیاده سازی نیاز دارد و ادغام آنها با هم نیازمند طراحی معماری عالی برای اطمینان از عملکرد کلی است. ایجاد یک تیم با تجربه در مدت زمان کوتاه برای مقابله با این طرح های چالش برانگیز یک چالش مهم برای OpenAI خواهد بود.

علاوه بر طراحی تراشه، یکی دیگر از چالش های مهم OpenAI، اطمینان از هم افزایی بین نرم افزار و سخت افزار، یا به عبارت دیگر، طراحی یک کامپایلر با کارایی بالا و اکوسیستم نرم افزاری مرتبط است. در حال حاضر، یکی از مزیت‌های کلیدی پردازنده‌های گرافیکی انویدیا، سیستم نرم‌افزاری CUDA آن‌ها است که عملکرد و سازگاری بالایی را در بیش از یک دهه جمع‌آوری کرده است. در تراشه خود توسعه یافته OpenAI، سیستم کامپایلر نیز باید به عملکرد بالایی مانند CUDA دست یابد تا به طور کامل از قدرت محاسباتی تراشه استفاده کند. برخلاف سایر شرکت‌های فناوری که تراشه‌هایی را برای سرویس‌های ابری توسعه می‌دهند، تراشه‌های OpenAI در درجه اول برای استفاده داخلی هستند، بنابراین نگرانی کمتری در مورد پشتیبانی از اکوسیستم و مدل کاربر وجود دارد. با این حال، عملکرد کامپایلر باید به عملکرد CUDA انویدیا نزدیک شود. در واقع OpenAI قبلاً در این زمینه سرمایه گذاری کرده است. در جولای سال جاری، OpenAI راه حل تلفیقی مدل هوش مصنوعی خود را بر اساس زبان منبع باز تریتون اعلام کرد. کد پایتون را با استفاده از کامپایلر تریتون و کامپایلر LLVM به نمایش متوسط ​​(IR) کامپایل می‌کند، که سپس می‌تواند در کد PTX کامپایل شود و مستقیماً روی پردازنده‌های گرافیکی و شتاب‌دهنده‌های هوش مصنوعی که از PTX پشتیبانی می‌کنند اجرا شود. از این منظر، سرمایه گذاری OpenAI در کامپایلرها ممکن است به عنوان پیشروی برای تراشه های خود توسعه یافته آن عمل کند.

در نهایت، تولید خاص تراشه نیز یک چالش خواهد بود. همانطور که قبلا ذکر شد، OpenAI احتمالاً از گره های فرآیند پیشرفته و فناوری های بسته بندی پیشرفته استفاده می کند. بنابراین، اطمینان از بازده بالا در طول تولید و مهمتر از آن، دستیابی به ظرفیت تولید کافی برای تولید انبوه در بسته‌بندی‌های پیشرفته و گره‌های فرآیندی در سال‌های آینده مشکلی خواهد بود که باید به آن توجه شود.

با در نظر گرفتن این سه چالش، ما معتقدیم که طرح تراشه خود توسعه یافته OpenAI ممکن است چندین مرحله را شامل شود. اولاً، قبل از اینکه مسائل فنی و تولید به طور کامل حل شود، OpenAI می‌تواند با مایکروسافت (بزرگترین سهامدار آن، که برنامه تراشه خود به نام Athena نیز دارد) و Nvidia (یا AMD) همکاری کند. آن‌ها می‌توانند تراشه‌های نیمه سفارشی‌سازی شده را انتخاب کنند، جایی که OpenAI مشخصات خاص و حتی مقداری مالکیت معنوی (IP) را ارائه می‌کند که تراشه باید از آنها پشتیبانی کند، در حالی که شرکای مشترک طراحی و تولید تراشه را انجام می‌دهند. پس از رفع مشکلات فنی و تولید، OpenAI می‌تواند سرمایه‌گذاری هنگفتی را روی تراشه‌های کاملاً سفارشی‌شده، دستیابی به عملکرد و کنترل‌پذیری بهینه انتخاب کند.