OpenAI'nin kendi geliştirdiği çiplerin benzersiz özellikleri nelerdir?

Şu anda kendi çipini geliştiren birçok teknoloji şirketi var. Peki OpenAI'nin kendi geliştirdiği çipleri, Google ve Amazon gibi şirketlerin kendi geliştirdiği çiplerden farklı kılan şey nedir?

Birincisi, OpenAI'nin kendi geliştirdiği çipler tamamen kendi model eğitim amaçlarına yöneliktir; bu, Google ve Amazon gibi müşterilerin bulut sunucularında kullanılmak üzere kendi geliştirdikleri çipleri sağlamaya odaklanan ticari modellerinden farklıdır. Bulut hizmeti müşterilerine kendi geliştirdikleri çipleri sağlayan Google ve Amazon gibi şirketler için modellerin kullanım senaryoları net değil, kullanılan yazılım yığını belirsiz ve eğitilen belirli modeller de belirsiz. Bu nedenle çip tasarımlarının uyumluluk gereksinimlerini karşılaması ve her eğitim görevi için genellikle verimlilik ve performanstan ödün vermesi gerekir. Öte yandan, OpenAI'nin kendi geliştirdiği çipler yalnızca kendi kullanımları içindir ve eğitilen modeller çok spesifiktir: Transformers'ı temel alan büyük dil modelleri. OpenAI ayrıca kullanılan yazılım yığını üzerinde tam kontrole sahip olup, yüksek düzeyde hedeflenmiş tasarım sağlar.

İkinci fark OpenAI'nin modelleri derinlemesine anlamasında yatmaktadır. OpenAI, üretken modeller alanında lider bir şirkettir ve şu anda GPT serisi modeller hâlâ en iyi performans gösteren üretken modellerdir. OpenAI, üretken model araştırmasında uzun yıllara dayanan deneyime sahiptir; bu, üretken modeller için çeşitli tasarım çözümleri konusunda derin bir anlayışa sahip oldukları anlamına gelir. Bu, OpenAI'nin çip-model ortak tasarımı yapma, çiplerin özelliklerine göre modeller tasarlama ve modellerin gereksinimlerine göre çiplerin tasarım metriklerini belirleme yeteneğine ve bilgisine sahip olduğu anlamına gelir. Buna hesaplama birimleri, depolama ve çip ara bağlantıları arasındaki dengelerin optimize edilmesi de dahildir. Üstelik OpenAI, sektördeki gelecekteki üretken büyük modeller için en açık yol haritasına sahiptir; bu, kendi geliştirdiğimiz çiplerin hazır olması birkaç yıl alsa bile, çiplerin piyasaya sürüldükten sonra güncelliğini yitirmesi konusunda endişelenmenize gerek olmadığı anlamına gelir. seri üretim. Bu açıdan bakıldığında OpenAI'nin kendi geliştirdiği çipler, Google ve Amazon'unkilerden oldukça farklı ancak Tesla'nın kendi geliştirdiği Dojo serisi model eğitim çipleriyle bazı benzerlikler paylaşıyor. Ancak OpenAI'yi diğerlerinden ayıran şey, model eğitimine olan talebin Tesla'nınkinden çok daha yüksek olması ve bu da kendi geliştirdiği çiplerin OpenAI için önemini daha da arttırmasıdır.

OpenAI'nin bu benzersiz özellikleri, ona alışılmadık amaçlar için özel olarak tasarlanmış yüksek performanslı çipler elde etme fırsatı veriyor. Son zamanlarda Nvidia, GPU'larının performans iyileştirme modelini resmi bir blog yazısında analiz etti. Nvidia'nın GPU hesaplama gücü on yıldan kısa bir sürede 1000 kat arttı. Analize göre, bilgi işlem gücündeki bu 1000 kat artış içerisinde, hesaplama hassasiyetinin optimizasyonu (orijinal 16 bit kayan nokta hesaplaması yerine 8 bit veya hatta 32 bit kayan nokta sayılarının kullanılması gibi) özel hesaplamalarla birleştirildi. bilgi işlem modülleri 16 kat performans artışı sağladı. Ayrıca çip mimarisi ve derleyiciler arasındaki işbirliğine dayalı optimizasyon, 12.5 kat performans artışı sağladı. Öte yandan yarı iletken teknolojisinin getirdiği performans artışı yalnızca iki kattı. Bu nedenle, yüksek performanslı bilgi işlem çipleri alanında, algoritma ve çip mimarisi ortak tasarımının (model algoritmaları ve derleyici algoritmaları dahil) performans iyileştirmesi için ana itici güçler olduğu (Huang Yasası olarak da bilinir) görülebilir. Bu açıdan bakıldığında OpenAI gerçekten çok avantajlı bir konumda. Algoritmalara ilişkin derin anlayışıyla OpenAI'nin önümüzdeki birkaç yıl içinde Huang Yasasından tam olarak yararlanması ve yüksek performanslı bilgi işlem çipi tasarımlarına ulaşması bekleniyor.

OpenAI'nin kendi geliştirdiği çiplerin zorlukları

OpenAI'nin kendi geliştirdiği çiplerin avantajlarının yanı sıra gerçekten de zorlukları var.

Büyük modeller için tasarlanan yüksek performanslı çiplerin temel sorunu, karmaşıklıklarında yatmaktadır. Yonga tasarımı açısından bakıldığında, yüksek performanslı bilgi işlem yongasındaki hesaplama birimleri, bellek erişimi ve ara bağlantıların dikkatli bir şekilde değerlendirilmesi gerekmektedir. Örneğin büyük modellerin gereksinimlerini karşılamak için çipin HBM (Yüksek Bant Genişlikli Bellek) kullanması kuvvetle muhtemel. Yüksek enerji verimliliği ve ölçeklenebilirlik elde etmek amacıyla, yüksek verim için ileri proses teknolojilerinin ve talaş kalıp istifleme tekniklerinin kullanılması bekleniyor. Dağıtılmış bilgi işlem genellikle büyük modeller için kullanılır ve bu da yongalar arasındaki bağlantıyı önemli hale getirir (Nvidia'nın GPU'lar için NVLINK ve InfiniBand teknolojilerine benzer şekilde, OpenAI de benzer teknolojiler gerektirir). Bu çip tasarım bileşenlerinin her birinin uygulanması deneyimli bir ekip gerektirir ve bunların birbirine entegre edilmesi, genel performansın sağlanması için mükemmel mimari tasarım gerektirir. Bu zorlu tasarımların üstesinden gelmek için kısa sürede deneyimli bir ekip oluşturmak OpenAI için önemli bir zorluk olacaktır.

Çip tasarımının yanı sıra OpenAI için bir diğer önemli zorluk, yazılım ve donanım arasındaki sinerjinin sağlanması, diğer bir deyişle yüksek performanslı bir derleyici ve ilgili yazılım ekosisteminin tasarlanmasıdır. Şu anda Nvidia GPU'ların en önemli avantajlarından biri, on yılı aşkın süredir yüksek performans ve uyumluluk sağlayan CUDA yazılım sistemidir. OpenAI'nin kendi geliştirdiği çipte, derleyici sisteminin de çipin bilgi işlem gücünden tam olarak yararlanabilmesi için CUDA gibi yüksek performansa ulaşması gerekiyor. Bulut hizmetleri için çip geliştiren diğer teknoloji şirketlerinden farklı olarak OpenAI'nin çipleri öncelikle şirket içi kullanıma yöneliktir, dolayısıyla ekosistem ve kullanıcı modeli desteği konusunda daha az endişe vardır. Ancak derleyicinin performansının Nvidia'nın CUDA'sına yaklaşması gerekiyor. Aslında OpenAI daha önce de bu alana yatırım yapmıştı. Bu yılın temmuz ayında OpenAI, açık kaynaklı Triton dilini temel alan yapay zeka modeli derleme çözümünü duyurdu. Triton derleyicisini ve LLVM derleyicisini kullanarak Python kodunu ara gösterime (IR) derler; bu daha sonra PTX kodunda derlenebilir ve doğrudan PTX'i destekleyen GPU'lar ve AI hızlandırıcılarda çalıştırılabilir. Bu açıdan bakıldığında OpenAI'nin derleyicilere yaptığı yatırım, kendi geliştirdiği çiplerin öncüsü olabilir.

Son olarak çipin özel üretimi de bir zorluk teşkil edecek. Daha önce de belirtildiği gibi OpenAI'nin gelişmiş süreç düğümlerini ve gelişmiş paketleme teknolojilerini kullanması muhtemeldir. Bu nedenle, üretim sırasında yüksek verimin sağlanması ve daha da önemlisi, ileri paketleme ve proses düğümlerinin potansiyel olarak kısıtlı arzı dahilinde seri üretim için yeterli üretim kapasitesinin elde edilmesi, önümüzdeki yıllarda ele alınması gereken bir sorun olacaktır.

Bu üç zorluğu göz önünde bulundurarak OpenAI'nin kendi geliştirdiği çip planının birden fazla adım içerebileceğine inanıyoruz. İlk olarak, teknik ve üretim sorunları tamamen çözülmeden önce OpenAI, Microsoft (Athena adında kendi çip planına sahip olan en büyük hissedarı) ve Nvidia (veya AMD) ile işbirliği yapmayı seçebilir. OpenAI'nin belirli spesifikasyonları ve hatta çipin desteklemesi gereken bazı fikri mülkiyetleri (IP) sağladığı, işbirlikçi ortakların ise çip tasarımını ve üretimini üstlendiği yarı özelleştirilmiş çipleri tercih edebilirler. Teknik sorunlar ve üretim sorunları çözüldükten sonra OpenAI, tamamen özelleştirilmiş çiplere yoğun yatırım yapmayı seçerek optimum performans ve kontrol edilebilirlik elde edebilir.