OpenAI自研晶片有何獨特之處？

目前，已有多家科技公司研發了自己的晶片。那麼，OpenAI的自研晶片與Google、亞馬遜等公司的自研晶片有什麼不同呢？

首先，OpenAI的自研晶片純粹是為了自己的模型訓練目的，這與Google、亞馬遜等公司專注於提供自研晶片供客戶在雲端伺服器上使用的商業模式不同。對於像Google、亞馬遜這樣為雲端服務客戶提供自研晶片的公司來說，模型的使用場景不明確，使用的軟體堆疊不確定，具體訓練的模型也不確定。因此，他們的晶片設計需要滿足相容性要求，往往會犧牲每個訓練任務的效率和效能。另一方面，OpenAI自研晶片僅供自己使用，訓練的模型非常具體：基於Transformers的大型語言模型。 OpenAI 還可以完全控制所使用的軟體堆疊，確保高度針對性的設計。

第二個差異在於OpenAI對模型的深刻理解。 OpenAI是生成模型領域的領先公司，目前GPT系列模型仍是表現最好的生成模型。 OpenAI在生成模型研究方面累積了多年的經驗，這意味著他們對生成模型的各種設計方案有著深刻的理解。這意味著OpenAI有能力和知識進行晶片模型協同設計，根據晶片的特性設計模型，並根據模型的要求指定晶片的設計指標。這包括優化計算單元、儲存和晶片互連之間的權衡。而且，OpenAI對於未來生成大型模型有著業界最明確的路線圖，這意味著即使自研晶片需要幾年的時間才能準備好，也不用擔心晶片一旦投入使用就會過時。從這個角度來看，OpenAI的自研晶片與Google、亞馬遜的自研晶片有很大不同，但與特斯拉的Dojo系列自研模型訓練晶片有一些相似之處。不過，OpenAI的與眾不同之處在於，他們對模型訓練的需求顯然比特斯拉高很多，這使得自研晶片對OpenAI來說更加重要。

OpenAI 的這些獨特功能使其有機會實現專為非常規用途而設計的高性能晶片。近日，Nvidia在官方部落格文章中分析了其GPU的效能提升模式。英偉達的GPU運算能力在不到十年的時間內成長了1000倍。根據分析，在這1000倍的算力提升範圍內，計算精度的優化（例如使用16位甚至8位浮點數代替原來的32位浮點計算）結合專用的計算模組實現了16倍的性能提升。此外，晶片架構和編譯器之間的協同最佳化提供了12.5倍的效能提升。另一方面，半導體技術帶來的性能提升只有兩倍。因此可以看出，在高效能運算晶片領域，演算法和晶片架構協同設計（包括模型演算法和編譯器演算法）是效能提升的主要驅動力（也稱為黃氏定律）。從這個角度來看，OpenAI確實處於非常有利的地位。憑藉對演算法的深刻理解，OpenAI有望在未來幾年內充分利用黃定律並實現高效能運算晶片設計。

OpenAI自研晶片面臨的挑戰

除了優點之外，OpenAI自研晶片也確實存在挑戰。

專為大型模型設計的高性能晶片的主要挑戰在於其複雜性。從晶片設計的角度來看，需要仔細考慮高效能運算晶片內部的運算單元、記憶體存取和互連性。例如，為了滿足大型模型的要求，晶片很有可能會採用HBM（高頻寬記憶體）。為了實現高能源效率和可擴展性，預計將採用先進的製程技術和晶片晶片堆疊技術來實現高產量。分散式運算通常用於大型模型，因此晶片之間的互連性至關重要（類似 Nvidia 的 GPU NVLINK 和 InfiniBand 技術，OpenAI 也需要類似的技術）。這些晶片設計組件中的每一個都需要經驗豐富的團隊來實施，並且將它們整合在一起需要出色的架構設計以確保整體性能。在短時間內建立一支經驗豐富的團隊來應對這些具有挑戰性的設計將是 OpenAI 面臨的重要挑戰。

除了晶片設計之外，OpenAI面臨的另一個重大挑戰是確保軟體和硬體之間的協同，即設計高性能的編譯器和相關的軟體生態系統。目前，Nvidia GPU的一個關鍵優勢是其CUDA軟體系統，該系統已經累積了十多年的高效能和相容性。在OpenAI自研晶片中，編譯系統也需要實現像CUDA一樣的高效能，才能充分發揮晶片的算力。與其他為雲端服務開發晶片的科技公司不同，OpenAI的晶片主要供內部使用，因此不太關心生態系統和使用者模型支援。然而，編譯器的效能需要接近 Nvidia 的 CUDA。事實上，OpenAI很早就已經在這一領域進行了投資。今年7月，OpenAI宣布推出基於開源Triton語言的AI模型編譯解決方案。它使用 Triton 編譯器和 LLVM 編譯器將 Python 程式碼編譯為中間表示（IR），然後可以將其編譯為 PTX 程式碼並直接在支援 PTX 的 GPU 和 AI 加速器上運行。從這個角度來看，OpenAI對編譯器的投入或許可以作為其自研晶片的前奏。

最後，晶片的具體生產也會帶來挑戰。如前所述，OpenAI 很可能會利用先進的製程節點和先進的封裝技術。因此，確保生產過程中的高良率，更重要的是，在未來幾年先進封裝和工藝節點供應可能緊張的情況下獲得足夠的產能進行大規模生產將是需要解決的問題。

考慮到這三個挑戰，我們認為OpenAI的自研晶片計畫可能涉及多個步驟。首先，在技術和生產問題完全解決之前，OpenAI可以選擇與微軟（最大股東，也有自己的晶片計畫稱為Athena）和Nvidia（或AMD）合作。他們可以選擇半客製化晶片，OpenAI提供晶片需要支援的某些規格甚至一些智慧財產權（IP），而合作夥伴則負責晶片設計和生產。一旦技術和生產問題得到解決，OpenAI可以選擇大量投資完全客製化的晶片，實現最佳的性能和可控性。