Was sind die einzigartigen Merkmale der selbst entwickelten Chips von OpenAI?

Derzeit gibt es viele Technologieunternehmen, die ihre eigenen Chips entwickelt haben. Was unterscheidet die selbst entwickelten Chips von OpenAI von den selbst entwickelten Chips von Unternehmen wie Google und Amazon?

Erstens dienen die selbst entwickelten Chips von OpenAI ausschließlich eigenen Modellschulungszwecken, was sich von den kommerziellen Modellen von Unternehmen wie Google und Amazon unterscheidet, die sich auf die Bereitstellung selbst entwickelter Chips für den Einsatz auf Cloud-Servern durch Kunden konzentrieren. Für Unternehmen wie Google und Amazon, die selbst entwickelte Chips für Cloud-Service-Kunden bereitstellen, sind die Nutzungsszenarien der Modelle unklar, der verwendete Software-Stack ist unsicher und die spezifischen Modelle, die trainiert werden, sind ebenfalls unsicher. Daher müssen ihre Chipdesigns Kompatibilitätsanforderungen erfüllen, was häufig zu Einbußen bei Effizienz und Leistung bei jeder Trainingsaufgabe führt. Andererseits sind die selbst entwickelten Chips von OpenAI nur für den eigenen Gebrauch bestimmt und die trainierten Modelle sind sehr spezifisch: große Sprachmodelle, die auf Transformers basieren. OpenAI hat außerdem die volle Kontrolle über den verwendeten Software-Stack und gewährleistet so ein äußerst zielgerichtetes Design.

Der zweite Unterschied liegt im tiefen Verständnis von OpenAI für die Modelle. OpenAI ist ein führendes Unternehmen im Bereich generativer Modelle, und derzeit sind die Modelle der GPT-Serie immer noch die leistungsstärksten generativen Modelle. OpenAI verfügt über jahrelange Erfahrung in der generativen Modellforschung und verfügt daher über ein tiefes Verständnis verschiedener Designlösungen für generative Modelle. Dies impliziert, dass OpenAI über die Fähigkeit und das Wissen verfügt, Chip-Modell-Codesign durchzuführen, Modelle entsprechend den Eigenschaften der Chips zu entwerfen und die Designmetriken der Chips basierend auf den Anforderungen der Modelle zu spezifizieren. Dazu gehört die Optimierung von Kompromissen zwischen Recheneinheiten, Speicher und Chipverbindungen. Darüber hinaus verfügt OpenAI über die expliziteste Roadmap für zukünftige generative Großmodelle in der Branche. Das heißt, auch wenn es mehrere Jahre dauert, bis die selbst entwickelten Chips fertig sind, besteht kein Grund zur Sorge, dass die Chips nach ihrer Einführung veraltet sein könnten Massenproduktion. Aus dieser Perspektive unterscheiden sich die selbst entwickelten Chips von OpenAI deutlich von denen von Google und Amazon, weisen jedoch einige Ähnlichkeiten mit Teslas Dojo-Serie selbst entwickelter Modelltrainingschips auf. Was OpenAI jedoch auszeichnet, ist, dass ihr Bedarf an Modelltraining offenbar deutlich höher ist als der von Tesla, was die Bedeutung selbst entwickelter Chips für OpenAI noch größer macht.

Diese einzigartigen Funktionen von OpenAI bieten die Möglichkeit, Hochleistungschips zu entwickeln, die speziell für unkonventionelle Zwecke entwickelt wurden. Kürzlich hat Nvidia in einem offiziellen Blogbeitrag das Leistungsverbesserungsmuster seiner GPUs analysiert. Die GPU-Rechenleistung von Nvidia hat sich in weniger als einem Jahrzehnt um das Tausendfache erhöht. Der Analyse zufolge wird innerhalb dieser 1000-fachen Steigerung der Rechenleistung eine Optimierung der Rechengenauigkeit (z. B. die Verwendung von 1000-Bit- oder sogar 16-Bit-Gleitkommazahlen anstelle der ursprünglichen 8-Bit-Gleitkommaberechnung) mit dedizierten kombiniert Rechenmodule erreichten eine 32-fache Leistungssteigerung. Darüber hinaus sorgte die gemeinsame Optimierung zwischen Chip-Architektur und Compilern für eine 16-fache Leistungsverbesserung. Andererseits betrug die Leistungssteigerung durch die Halbleitertechnologie nur das Doppelte. Daher ist ersichtlich, dass im Bereich der Hochleistungs-Rechenchips das gemeinsame Design von Algorithmen und Chiparchitekturen (einschließlich Modellalgorithmen und Compiler-Algorithmen) die Hauptantriebskräfte für die Leistungsverbesserung sind (auch als Huang-Gesetz bekannt). Aus dieser Perspektive ist OpenAI tatsächlich in einer sehr vorteilhaften Position. Mit seinem tiefgreifenden Verständnis von Algorithmen wird OpenAI voraussichtlich in den nächsten Jahren das Huang-Gesetz voll ausschöpfen und Hochleistungs-Rechenchip-Designs entwickeln.

Die Herausforderungen der selbst entwickelten Chips von OpenAI

Zusätzlich zu seinen Vorteilen gibt es tatsächlich Herausforderungen für die selbst entwickelten Chips von OpenAI.

Die größte Herausforderung von Hochleistungschips, die für große Modelle konzipiert sind, liegt in ihrer Komplexität. Aus Sicht des Chip-Designs müssen die Recheneinheiten, der Speicherzugriff und die Interkonnektivität innerhalb des Hochleistungs-Rechenchips sorgfältig geprüft werden. Um beispielsweise die Anforderungen großer Modelle zu erfüllen, ist es sehr wahrscheinlich, dass der Chip HBM (High Bandwidth Memory) nutzt. Um eine hohe Energieeffizienz und Skalierbarkeit zu erreichen, wird erwartet, dass fortschrittliche Prozesstechnologien und Techniken zum Stapeln von Chips eingesetzt werden, um eine hohe Ausbeute zu erzielen. Verteiltes Rechnen wird häufig für große Modelle verwendet, wodurch die Interkonnektivität zwischen Chips von entscheidender Bedeutung ist (ähnlich wie Nvidias NVLINK- und InfiniBand-Technologien für GPUs würde auch OpenAI ähnliche Technologien erfordern). Für die Implementierung jeder dieser Chip-Designkomponenten ist ein erfahrenes Team erforderlich, und ihre Integration erfordert ein hervorragendes Architekturdesign, um die Gesamtleistung sicherzustellen. Der Aufbau eines erfahrenen Teams innerhalb kurzer Zeit zur Bewältigung dieser anspruchsvollen Designs wird eine wichtige Herausforderung für OpenAI sein.

Neben dem Chip-Design besteht eine weitere große Herausforderung für OpenAI darin, die Synergie zwischen Software und Hardware sicherzustellen, oder mit anderen Worten, einen Hochleistungs-Compiler und ein zugehöriges Software-Ökosystem zu entwerfen. Ein aktueller Hauptvorteil von Nvidia-GPUs ist ihr CUDA-Softwaresystem, das über mehr als ein Jahrzehnt hohe Leistung und Kompatibilität erreicht hat. Im selbst entwickelten Chip von OpenAI muss auch das Compilersystem eine hohe Leistung wie CUDA erreichen, um die Rechenleistung des Chips voll auszunutzen. Im Gegensatz zu anderen Technologieunternehmen, die Chips für Cloud-Dienste entwickeln, sind die Chips von OpenAI hauptsächlich für den internen Gebrauch bestimmt, sodass es weniger Bedenken hinsichtlich der Unterstützung des Ökosystems und des Benutzermodells gibt. Allerdings muss die Leistung des Compilers an die von Nvidias CUDA heranreichen. Tatsächlich hat OpenAI bereits früher in diesem Bereich investiert. Im Juli dieses Jahres kündigte OpenAI seine KI-Modellkompilierungslösung an, die auf der Open-Source-Sprache Triton basiert. Mithilfe des Triton-Compilers und des LLVM-Compilers wird Python-Code in eine Zwischendarstellung (IR) kompiliert, die dann in PTX-Code kompiliert und direkt auf GPUs und KI-Beschleunigern ausgeführt werden kann, die PTX unterstützen. Aus dieser Perspektive könnten die Investitionen von OpenAI in Compiler als Vorläufer seiner selbst entwickelten Chips dienen.

Schließlich wird auch die konkrete Herstellung des Chips eine Herausforderung darstellen. Wie bereits erwähnt, wird OpenAI wahrscheinlich fortschrittliche Prozessknoten und fortschrittliche Verpackungstechnologien nutzen. Daher wird die Sicherstellung einer hohen Ausbeute während der Produktion und, was noch wichtiger ist, der Erhalt ausreichender Produktionskapazitäten für die Massenproduktion innerhalb des möglicherweise knappen Angebots an fortschrittlichen Verpackungs- und Prozessknoten in den kommenden Jahren ein Problem sein, das angegangen werden muss.

Angesichts dieser drei Herausforderungen glauben wir, dass der selbst entwickelte Chipplan von OpenAI mehrere Schritte umfassen kann. Erstens kann sich OpenAI für eine Zusammenarbeit mit Microsoft (seinem größten Anteilseigner, der auch einen eigenen Chipplan namens Athena hat) und Nvidia (oder AMD) entscheiden, bevor die technischen und produktionstechnischen Probleme vollständig gelöst sind. Sie können sich für halbkundenspezifische Chips entscheiden, bei denen OpenAI bestimmte Spezifikationen und sogar einige geistige Eigentumsrechte (IP) bereitstellt, die der Chip unterstützen muss, während die Kooperationspartner das Chipdesign und die Produktion übernehmen. Sobald die technischen und produktionsbezogenen Probleme gelöst sind, kann sich OpenAI dafür entscheiden, stark in vollständig angepasste Chips zu investieren, um optimale Leistung und Steuerbarkeit zu erreichen.