Apakah ciri unik cip yang dibangunkan sendiri oleh OpenAI?

Pada masa ini, terdapat banyak syarikat teknologi yang telah membangunkan cip mereka sendiri. Jadi, apakah yang membezakan cip yang dibangunkan sendiri oleh OpenAI daripada cip yang dibangunkan sendiri oleh syarikat seperti Google dan Amazon?

Pertama, cip yang dibangunkan sendiri oleh OpenAI adalah semata-mata untuk tujuan latihan model mereka sendiri, yang berbeza daripada model komersial syarikat seperti Google dan Amazon yang menumpukan pada penyediaan cip yang dibangunkan sendiri untuk digunakan pada pelayan awan oleh pelanggan. Bagi syarikat seperti Google dan Amazon, yang menyediakan cip yang dibangunkan sendiri untuk pelanggan perkhidmatan awan, senario penggunaan model tidak jelas, susunan perisian yang digunakan tidak pasti, dan model khusus yang dilatih juga tidak pasti. Oleh itu, reka bentuk cip mereka perlu memenuhi keperluan keserasian, selalunya mengorbankan kecekapan dan prestasi untuk setiap tugas latihan. Sebaliknya, cip yang dibangunkan sendiri oleh OpenAI hanya untuk kegunaan mereka sendiri, dan model yang dilatih adalah sangat khusus: model bahasa besar berdasarkan Transformers. OpenAI juga mempunyai kawalan penuh ke atas susunan perisian yang digunakan, memastikan reka bentuk yang sangat disasarkan.

Perbezaan kedua terletak pada pemahaman mendalam OpenAI tentang model. OpenAI ialah syarikat terkemuka dalam bidang model generatif, dan pada masa ini, model siri GPT masih merupakan model generatif berprestasi terbaik. OpenAI telah mengumpul pengalaman bertahun-tahun dalam penyelidikan model generatif, yang bermaksud mereka mempunyai pemahaman yang mendalam tentang pelbagai penyelesaian reka bentuk untuk model generatif. Ini menunjukkan bahawa OpenAI mempunyai keupayaan dan pengetahuan untuk melakukan reka bentuk bersama model cip, mereka bentuk model mengikut ciri cip dan menentukan metrik reka bentuk cip berdasarkan keperluan model. Ini termasuk mengoptimumkan pertukaran antara unit pengiraan, storan dan sambung cip. Selain itu, OpenAI mempunyai pelan hala tuju yang paling jelas untuk model besar generatif masa hadapan dalam industri, yang bermakna walaupun mengambil masa beberapa tahun untuk cip yang dibangunkan sendiri untuk siap, anda tidak perlu risau tentang cip menjadi lapuk apabila ia berada dalam pengeluaran besar-besaran. Dari perspektif ini, cip yang dibangunkan sendiri OpenAI agak berbeza daripada cip Google dan Amazon, tetapi ia berkongsi beberapa persamaan dengan cip latihan model yang dibangunkan sendiri oleh Tesla Dojo. Walau bagaimanapun, apa yang membezakan OpenAI ialah permintaan mereka untuk latihan model ternyata jauh lebih tinggi daripada Tesla, menjadikan kepentingan cip yang dibangunkan sendiri lebih besar untuk OpenAI.

Ciri unik OpenAI ini memberinya peluang untuk mencapai cip berprestasi tinggi yang direka khusus untuk tujuan bukan konvensional. Baru-baru ini, Nvidia menganalisis corak peningkatan prestasi GPUnya dalam catatan blog rasmi. Kuasa pengkomputeran GPU Nvidia telah meningkat sebanyak 1000 kali dalam masa kurang daripada satu dekad. Menurut analisis, dalam peningkatan 1000 kali ganda dalam kuasa pengkomputeran ini, pengoptimuman ketepatan pengiraan (seperti menggunakan nombor titik terapung 16-bit atau 8-bit dan bukannya pengiraan titik terapung 32-bit asal) digabungkan dengan khusus. modul pengkomputeran mencapai peningkatan prestasi 16 kali ganda. Di samping itu, pengoptimuman kolaboratif antara seni bina cip dan penyusun memberikan peningkatan prestasi 12.5 kali ganda. Sebaliknya, peningkatan prestasi yang dibawa oleh teknologi semikonduktor hanya dua kali ganda. Oleh itu, dapat dilihat bahawa dalam bidang cip pengkomputeran berprestasi tinggi, reka bentuk bersama seni bina cip dan algoritma (termasuk algoritma model dan algoritma pengkompil) adalah daya penggerak utama untuk peningkatan prestasi (juga dikenali sebagai Undang-undang Huang). Dari perspektif ini, OpenAI sememangnya berada dalam kedudukan yang sangat menguntungkan. Dengan pemahaman yang mendalam tentang algoritma, OpenAI dijangka memanfaatkan sepenuhnya Undang-undang Huang dan mencapai reka bentuk cip pengkomputeran berprestasi tinggi dalam beberapa tahun akan datang.

Cabaran cip yang dibangunkan sendiri oleh OpenAI

Di samping kelebihannya, sememangnya terdapat cabaran untuk cip yang dibangunkan sendiri oleh OpenAI.

Cabaran utama cip berprestasi tinggi, yang direka untuk model besar, terletak pada kerumitannya. Dari perspektif reka bentuk cip, pertimbangan yang teliti diperlukan untuk unit pengiraan, akses memori dan kesalinghubungan dalam cip pengkomputeran berprestasi tinggi. Sebagai contoh, untuk memenuhi keperluan model besar, kemungkinan besar cip tersebut akan menggunakan HBM (High Bandwidth Memory). Untuk mencapai kecekapan dan kebolehskalaan tenaga yang tinggi, teknologi proses termaju dan teknik penyusunan cip dijangka akan digunakan untuk hasil yang tinggi. Pengkomputeran teragih sering digunakan untuk model besar, menjadikan kesalinghubungan antara cip penting (serupa dengan teknologi NVLINK dan InfiniBand Nvidia untuk GPU, OpenAI juga memerlukan teknologi serupa). Setiap komponen reka bentuk cip ini memerlukan pasukan yang berpengalaman untuk melaksanakan, dan mengintegrasikannya bersama-sama memerlukan reka bentuk seni bina yang cemerlang untuk memastikan prestasi keseluruhan. Membina pasukan yang berpengalaman dalam tempoh yang singkat untuk menangani reka bentuk yang mencabar ini akan menjadi cabaran penting untuk OpenAI.

Selain reka bentuk cip, satu lagi cabaran penting untuk OpenAI ialah memastikan sinergi antara perisian dan perkakasan, atau dengan kata lain, mereka bentuk pengkompil berprestasi tinggi dan ekosistem perisian yang berkaitan. Pada masa ini, satu kelebihan utama GPU Nvidia ialah sistem perisian CUDA mereka, yang telah mengumpul prestasi tinggi dan keserasian selama lebih daripada satu dekad. Dalam cip yang dibangunkan sendiri oleh OpenAI, sistem pengkompil juga perlu mencapai prestasi tinggi seperti CUDA untuk menggunakan sepenuhnya kuasa pengkomputeran cip. Tidak seperti syarikat teknologi lain yang membangunkan cip untuk perkhidmatan awan, cip OpenAI terutamanya untuk kegunaan dalaman, jadi kurang kebimbangan mengenai ekosistem dan sokongan model pengguna. Walau bagaimanapun, prestasi pengkompil perlu mendekati prestasi CUDA Nvidia. Malah, OpenAI telah pun membuat pelaburan dalam bidang ini lebih awal. Pada Julai tahun ini, OpenAI mengumumkan penyelesaian penyusunan model AI berdasarkan bahasa Triton sumber terbuka. Ia menyusun kod Python ke dalam perwakilan perantaraan (IR) menggunakan pengkompil Triton dan pengkompil LLVM, yang kemudiannya boleh disusun ke dalam kod PTX dan dijalankan terus pada GPU dan pemecut AI yang menyokong PTX. Dari perspektif ini, pelaburan OpenAI dalam penyusun mungkin berfungsi sebagai pendahulu kepada cip yang dibangunkan sendiri.

Akhir sekali, pengeluaran khusus cip juga akan menimbulkan cabaran. Seperti yang dinyatakan sebelum ini, OpenAI berkemungkinan akan menggunakan nod proses lanjutan dan teknologi pembungkusan lanjutan. Oleh itu, memastikan hasil yang tinggi semasa pengeluaran dan, yang lebih penting, mendapatkan kapasiti pengeluaran yang mencukupi untuk menghasilkan besar-besaran dalam bekalan yang berpotensi ketat bagi nod pembungkusan dan proses termaju pada tahun-tahun akan datang akan menjadi masalah yang perlu ditangani.

Memandangkan tiga cabaran ini, kami percaya bahawa pelan cip yang dibangunkan sendiri oleh OpenAI mungkin melibatkan beberapa langkah. Pertama, sebelum isu teknikal dan pengeluaran diselesaikan sepenuhnya, OpenAI boleh memilih untuk bekerjasama dengan Microsoft (pemegang saham terbesarnya, yang juga mempunyai pelan cip sendiri yang dipanggil Athena) dan Nvidia (atau AMD). Mereka boleh memilih cip separa tersuai, di mana OpenAI menyediakan spesifikasi tertentu dan juga beberapa harta intelek (IP) yang perlu disokong oleh cip itu, manakala rakan kongsi yang bekerjasama mengendalikan reka bentuk dan pengeluaran cip. Setelah isu teknikal dan pengeluaran diselesaikan, OpenAI boleh memilih untuk melabur banyak dalam cip tersuai sepenuhnya, mencapai prestasi optimum dan kebolehkawalan.