OpenAIの自社開発チップのユニークな機能は何ですか?

現在、独自のチップを開発したテクノロジー企業が数多くあります。では、OpenAI の自社開発チップは、Google や Amazon などの企業の自社開発チップと何が違うのでしょうか?

まず、OpenAI の自社開発チップは純粋に自社モデルのトレーニングを目的としており、顧客がクラウド サーバーで使用するために自社開発チップを提供することに重点を置いている Google や Amazon などの企業の商用モデルとは異なります。クラウド サービスの顧客に自社開発のチップを提供する Google や Amazon などの企業にとって、モデルの使用シナリオは明確ではなく、使用されるソフトウェア スタックも不明確で、トレーニングされる特定のモデルも不明確です。したがって、チップ設計は互換性要件を満たす必要があり、多くの場合、各トレーニング タスクの効率とパフォーマンスが犠牲になります。一方、OpenAI の自社開発チップは自社使用のみを目的としており、トレーニングされるモデルは非常に特殊なものであり、Transformers に基づく大規模な言語モデルです。 OpenAI は、使用されるソフトウェア スタックを完全に制御することもでき、高度にターゲットを絞った設計を保証します。

2 番目の違いは、OpenAI のモデルに対する深い理解にあります。 OpenAI は生成モデルの分野のリーディングカンパニーであり、現在でも GPT シリーズ モデルが最もパフォーマンスの高い生成モデルです。 OpenAI は生成モデル研究で長年の経験を蓄積しており、生成モデルのさまざまな設計ソリューションについて深い理解を持っています。これは、OpenAI が、チップとモデルの共同設計、チップの特性に従ってモデルを設計し、モデルの要件に基づいてチップの設計メトリクスを指定する能力と知識を持っていることを意味します。これには、計算ユニット、ストレージ、チップ相互接続の間のトレードオフの最適化が含まれます。さらに、OpenAI には、業界で将来の大型生成モデルに関する最も明確なロードマップがあります。つまり、自社開発チップの準備が整うまでに数年かかったとしても、チップが完成したらチップが古くなってしまうことを心配する必要はありません。大量生産。この観点から見ると、OpenAI の自社開発チップは Google や Amazon のチップとは大きく異なりますが、Tesla の自社開発モデル トレーニング チップの Dojo シリーズといくつかの類似点を共有しています。ただし、OpenAI が他と異なる点は、モデル トレーニングに対する需要が明らかに Tesla よりもはるかに高く、OpenAI にとって自社開発チップの重要性がさらに高まっていることです。

OpenAI のこれらのユニークな機能により、従来とは異なる目的のために特別に設計された高性能チップを実現する機会が得られます。最近、Nvidia は公式ブログ投稿で GPU のパフォーマンス向上パターンを分析しました。 Nvidia の GPU コンピューティング能力は、1000 年足らずで 1000 倍に増加しました。分析によると、この 16 倍の計算能力の向上の中で、計算精度の最適化 (元の 8 ビット浮動小数点計算の代わりに 32 ビットまたはさらに 16 ビット浮動小数点数を使用するなど) と専用のコンピューティング モジュールのパフォーマンスは 12.5 倍向上しました。さらに、チップ アーキテクチャとコンパイラ間の協調的な最適化により、パフォーマンスが XNUMX 倍向上しました。一方で、半導体技術によってもたらされた性能の向上はわずか XNUMX 倍でした。したがって、ハイパフォーマンス コンピューティング チップの分野では、アルゴリズムとチップ アーキテクチャの共同設計 (モデル アルゴリズムとコンパイラ アルゴリズムを含む) がパフォーマンス向上の主な原動力であることがわかります (黄の法則とも呼ばれます)。この観点から見ると、OpenAI は確かに非常に有利な立場にあります。 OpenAI はアルゴリズムを深く理解しており、ファンの法則を最大限に活用し、今後数年以内に高性能コンピューティング チップの設計を実現すると期待されています。

OpenAI の自社開発チップの課題

OpenAI の自社開発チップには、その利点に加えて実際に課題もあります。

大規模モデル向けに設計された高性能チップの主な課題は、その複雑さにあります。チップ設計の観点からは、高性能コンピューティング チップ内の計算ユニット、メモリ アクセス、および相互接続について慎重な考慮が必要です。たとえば、大規模モデルの要件を満たすために、チップは HBM (高帯域幅メモリ) を利用する可能性が高くなります。高いエネルギー効率と拡張性を実現するには、高度なプロセス技術とチップダイスタッキング技術を採用して高歩留まりを実現することが期待されます。分散コンピューティングは大規模なモデルに使用されることが多く、チップ間の相互接続が重要になります (GPU 向けの Nvidia の NVLINK および InfiniBand テクノロジーと同様に、OpenAI にも同様のテクノロジーが必要です)。これらのチップ設計コンポーネントの実装にはそれぞれ経験豊富なチームが必要であり、それらを統合するには全体的なパフォーマンスを確保するための優れたアーキテクチャ設計が必要です。これらの困難な設計に取り組むための経験豊富なチームを短期間で構築することは、OpenAI にとって重要な課題となります。

チップ設計に加えて、OpenAI にとってのもう 1 つの重要な課題は、ソフトウェアとハ​​ードウェア間の相乗効果を確保すること、つまり、高性能コンパイラーと関連ソフトウェア エコシステムを設計することです。現在、Nvidia GPU の重要な利点の 1 つは、10 年以上にわたって高いパフォーマンスと互換性を蓄積してきた CUDA ソフトウェア システムです。 OpenAI の自社開発チップでは、チップの計算能力を最大限に活用するために、コンパイラ システムも CUDA のような高いパフォーマンスを実現する必要があります。クラウド サービス用のチップを開発する他のテクノロジー企業とは異なり、OpenAI のチップは主に社内使用を目的としているため、エコシステムやユーザー モデルのサポートについての懸念はあまりありません。ただし、コンパイラのパフォーマンスは Nvidia の CUDA のパフォーマンスに近づく必要があります。実際、OpenAI は以前からこの分野に投資を行っています。今年 7 月、OpenAI は、オープンソースの Triton 言語に基づく AI モデル コンパイル ソリューションを発表しました。 Triton コンパイラと LLVM コンパイラを使用して Python コードを中間表現 (IR) にコンパイルします。その後、PTX コードにコンパイルして、PTX をサポートする GPU および AI アクセラレータで直接実行できます。この観点から見ると、OpenAI のコンパイラへの投資は、自社開発チップの前駆体として機能する可能性があります。

最後に、チップの具体的な製造も課題となります。前述したように、OpenAI は高度なプロセス ノードと高度なパッケージング テクノロジを利用する可能性があります。したがって、生産時に高い歩留まりを確保すること、そしてさらに重要なことに、今後数年間に潜在的に逼迫する高度なパッケージングとプロセスノードの供給の中で大量生産するのに十分な生産能力を確保することが、対処する必要がある問題となります。

これら 3 つの課題を考慮すると、OpenAI の自社開発チップ計画には複数のステップが含まれる可能性があると考えられます。まず、技術上および生産上の問題が完全に解決される前に、OpenAI は Microsoft (筆頭株主であり、Athena と呼ばれる独自のチップ計画も持っている) および Nvidia (または AMD) と協力することを選択できます。セミカスタマイズされたチップを選択することもできます。OpenAI は特定の仕様と、チップがサポートする必要のある知的財産 (IP) さえも提供し、協力パートナーがチップの設計と製造を担当します。技術的および生産上の問題が解決されれば、OpenAI は完全にカスタマイズされたチップに多額の投資を選択し、最適なパフォーマンスと制御性を実現できます。