Apa saja fitur unik dari chip yang dikembangkan sendiri oleh OpenAI?

Saat ini sudah banyak perusahaan teknologi yang mengembangkan chipnya sendiri. Jadi, apa yang membuat chip yang dikembangkan sendiri oleh OpenAI berbeda dengan chip yang dikembangkan sendiri oleh perusahaan seperti Google dan Amazon?

Pertama, chip yang dikembangkan sendiri oleh OpenAI murni untuk tujuan pelatihan model mereka sendiri, berbeda dari model komersial perusahaan seperti Google dan Amazon yang berfokus pada penyediaan chip yang dikembangkan sendiri untuk digunakan di server cloud oleh pelanggan. Bagi perusahaan seperti Google dan Amazon, yang menyediakan chip yang dikembangkan sendiri untuk pelanggan layanan cloud, skenario penggunaan model tidak jelas, tumpukan perangkat lunak yang digunakan tidak pasti, dan model spesifik yang dilatih juga tidak pasti. Oleh karena itu, desain chip mereka harus memenuhi persyaratan kompatibilitas, sering kali mengorbankan efisiensi dan kinerja untuk setiap tugas pelatihan. Di sisi lain, chip OpenAI yang dikembangkan sendiri hanya untuk digunakan sendiri, dan model yang dilatih sangat spesifik: model bahasa besar berdasarkan Transformers. OpenAI juga memiliki kendali penuh atas tumpukan perangkat lunak yang digunakan, memastikan desain yang sangat bertarget.

Perbedaan kedua terletak pada pemahaman mendalam OpenAI terhadap modelnya. OpenAI adalah perusahaan terkemuka di bidang model generatif, dan saat ini, model seri GPT masih menjadi model generatif dengan performa terbaik. OpenAI telah mengumpulkan pengalaman bertahun-tahun dalam penelitian model generatif, yang berarti mereka memiliki pemahaman mendalam tentang berbagai solusi desain untuk model generatif. Hal ini menyiratkan bahwa OpenAI memiliki kemampuan dan pengetahuan untuk melakukan desain bersama model chip, merancang model sesuai dengan karakteristik chip, dan menentukan metrik desain chip berdasarkan kebutuhan model. Hal ini termasuk mengoptimalkan trade-off antara unit komputasi, penyimpanan, dan interkoneksi chip. Selain itu, OpenAI memiliki peta jalan paling eksplisit untuk model generatif besar di masa depan di industri. Artinya, meskipun diperlukan waktu beberapa tahun untuk menyiapkan chip yang dikembangkan sendiri, Anda tidak perlu khawatir chip tersebut akan ketinggalan jaman setelah digunakan. Produksi massal. Dari perspektif ini, chip yang dikembangkan sendiri oleh OpenAI sangat berbeda dengan chip yang dikembangkan sendiri oleh Google dan Amazon, namun mereka memiliki beberapa kesamaan dengan rangkaian chip pelatihan model yang dikembangkan sendiri oleh Dojo milik Tesla. Namun, yang membedakan OpenAI adalah permintaan mereka terhadap pelatihan model jelas jauh lebih tinggi dibandingkan Tesla, sehingga menjadikan pentingnya chip yang dikembangkan sendiri bagi OpenAI menjadi lebih penting.

Fitur unik OpenAI ini memberikan peluang untuk mencapai chip berkinerja tinggi yang dirancang khusus untuk tujuan yang tidak konvensional. Baru-baru ini, Nvidia menganalisis pola peningkatan kinerja GPU-nya dalam postingan blog resminya. Kekuatan komputasi GPU Nvidia telah meningkat 1000 kali lipat dalam waktu kurang dari satu dekade. Menurut analisis, dalam peningkatan daya komputasi 1000 kali lipat ini, optimalisasi presisi komputasi (seperti menggunakan angka floating-point 16-bit atau bahkan 8-bit alih-alih perhitungan floating-point 32-bit asli) digabungkan dengan perhitungan khusus. modul komputasi mencapai peningkatan kinerja 16 kali lipat. Selain itu, optimalisasi kolaboratif antara arsitektur chip dan kompiler memberikan peningkatan kinerja 12.5 kali lipat. Di sisi lain, peningkatan kinerja yang dibawa oleh teknologi semikonduktor hanya dua kali lipat. Oleh karena itu, dapat dilihat bahwa di bidang chip komputasi berkinerja tinggi, desain bersama algoritma dan arsitektur chip (termasuk algoritma model dan algoritma kompiler) merupakan kekuatan pendorong utama untuk peningkatan kinerja (juga dikenal sebagai Hukum Huang). Dari sudut pandang ini, OpenAI memang berada pada posisi yang sangat diuntungkan. Dengan pemahaman mendalam tentang algoritma, OpenAI diharapkan dapat sepenuhnya memanfaatkan Hukum Huang dan mencapai desain chip komputasi berkinerja tinggi dalam beberapa tahun ke depan.

Tantangan chip yang dikembangkan sendiri oleh OpenAI

Selain kelebihannya, memang ada tantangan tersendiri bagi chip yang dikembangkan sendiri oleh OpenAI.

Tantangan utama chip berperforma tinggi, yang dirancang untuk model besar, terletak pada kompleksitasnya. Dari perspektif desain chip, diperlukan pertimbangan yang cermat untuk unit komputasi, akses memori, dan interkonektivitas dalam chip komputasi berkinerja tinggi. Misalnya, untuk memenuhi persyaratan model besar, kemungkinan besar chip tersebut akan menggunakan HBM (Memori Bandwidth Tinggi). Untuk mencapai efisiensi dan skalabilitas energi yang tinggi, teknologi proses canggih dan teknik die-stacking chip diharapkan dapat digunakan untuk menghasilkan hasil yang tinggi. Komputasi terdistribusi sering digunakan untuk model besar, sehingga interkonektivitas antar chip menjadi penting (mirip dengan teknologi NVLINK dan InfiniBand Nvidia untuk GPU, OpenAI juga memerlukan teknologi serupa). Masing-masing komponen desain chip ini memerlukan tim berpengalaman untuk mengimplementasikannya, dan mengintegrasikannya memerlukan desain arsitektur yang sangat baik untuk memastikan kinerja secara keseluruhan. Membangun tim yang berpengalaman dalam waktu singkat untuk mengatasi desain yang menantang ini akan menjadi tantangan penting bagi OpenAI.

Selain desain chip, tantangan signifikan lainnya bagi OpenAI adalah memastikan sinergi antara perangkat lunak dan perangkat keras, atau dengan kata lain, merancang kompiler berkinerja tinggi dan ekosistem perangkat lunak terkait. Saat ini, salah satu keunggulan utama GPU Nvidia adalah sistem perangkat lunak CUDA, yang telah mengumpulkan kinerja dan kompatibilitas tinggi selama lebih dari satu dekade. Dalam chip OpenAI yang dikembangkan sendiri, sistem kompiler juga perlu mencapai kinerja tinggi seperti CUDA agar dapat sepenuhnya memanfaatkan daya komputasi chip tersebut. Tidak seperti perusahaan teknologi lain yang mengembangkan chip untuk layanan cloud, chip OpenAI ditujukan terutama untuk penggunaan internal, sehingga tidak terlalu mengkhawatirkan ekosistem dan dukungan model pengguna. Namun, kinerja kompiler harus mendekati CUDA Nvidia. Faktanya, OpenAI telah melakukan investasi di bidang ini sebelumnya. Pada bulan Juli tahun ini, OpenAI mengumumkan solusi kompilasi model AI berdasarkan bahasa sumber terbuka Triton. Ini mengkompilasi kode Python menjadi representasi perantara (IR) menggunakan kompiler Triton dan kompiler LLVM, yang kemudian dapat dikompilasi menjadi kode PTX dan dijalankan langsung pada GPU dan akselerator AI yang mendukung PTX. Dari perspektif ini, investasi OpenAI pada compiler dapat berfungsi sebagai pendahulu chip yang dikembangkan sendiri.

Terakhir, produksi spesifik chip tersebut juga akan menimbulkan tantangan. Seperti disebutkan sebelumnya, OpenAI kemungkinan akan memanfaatkan node proses canggih dan teknologi pengemasan canggih. Oleh karena itu, memastikan hasil yang tinggi selama produksi dan, yang lebih penting, memperoleh kapasitas produksi yang cukup untuk memproduksi secara massal di tengah potensi terbatasnya pasokan pengemasan canggih dan simpul proses di tahun-tahun mendatang akan menjadi masalah yang perlu diatasi.

Mempertimbangkan ketiga tantangan ini, kami yakin bahwa rencana chip yang dikembangkan sendiri oleh OpenAI mungkin memerlukan beberapa langkah. Pertama, sebelum masalah teknis dan produksi diselesaikan sepenuhnya, OpenAI dapat memilih untuk berkolaborasi dengan Microsoft (pemegang saham terbesarnya, yang juga memiliki rencana chip sendiri bernama Athena) dan Nvidia (atau AMD). Mereka dapat memilih chip semi-kustomisasi, di mana OpenAI memberikan spesifikasi tertentu dan bahkan beberapa kekayaan intelektual (IP) yang perlu didukung oleh chip tersebut, sementara mitra kolaboratif menangani desain dan produksi chip. Setelah masalah teknis dan produksi teratasi, OpenAI dapat memilih untuk berinvestasi besar-besaran pada chip yang sepenuhnya disesuaikan, sehingga mencapai kinerja dan pengendalian yang optimal.