Wat zijn de unieke eigenschappen van de zelf ontwikkelde chips van OpenAI?

Momenteel zijn er veel technologiebedrijven die hun eigen chips hebben ontwikkeld. Wat maakt de zelfontwikkelde chips van OpenAI anders dan de zelfontwikkelde chips van bedrijven als Google en Amazon?

Ten eerste zijn de zelf ontwikkelde chips van OpenAI puur voor eigen modeltrainingsdoeleinden, wat anders is dan de commerciële modellen van bedrijven als Google en Amazon die zich richten op het aanbieden van zelf ontwikkelde chips voor gebruik op cloudservers door klanten. Voor bedrijven als Google en Amazon, die zelf ontwikkelde chips leveren aan klanten van clouddiensten, zijn de gebruiksscenario's van de modellen niet duidelijk, is de gebruikte softwarestack onzeker en zijn de specifieke modellen die worden getraind ook onzeker. Daarom moeten hun chipontwerpen voldoen aan compatibiliteitseisen, waarbij vaak efficiëntie en prestaties worden opgeofferd voor elke trainingstaak. Aan de andere kant zijn de zelf ontwikkelde chips van OpenAI alleen voor eigen gebruik en zijn de modellen die worden getraind heel specifiek: grote taalmodellen gebaseerd op Transformers. OpenAI heeft ook volledige controle over de gebruikte softwarestack, waardoor een zeer gericht ontwerp wordt gegarandeerd.

Het tweede verschil ligt in OpenAI's diepgaande kennis van de modellen. OpenAI is een toonaangevend bedrijf op het gebied van generatieve modellen en momenteel zijn de modellen uit de GPT-serie nog steeds de best presterende generatieve modellen. OpenAI heeft jarenlange ervaring met generatief modelonderzoek, wat betekent dat ze een diepgaand inzicht hebben in verschillende ontwerpoplossingen voor generatieve modellen. Dit impliceert dat OpenAI de mogelijkheid en kennis heeft om co-design van chipmodellen uit te voeren, modellen te ontwerpen op basis van de kenmerken van de chips en de ontwerpmetrieken van de chips te specificeren op basis van de vereisten van de modellen. Dit omvat het optimaliseren van de afwegingen tussen rekeneenheden, opslag en chip-interconnecties. Bovendien heeft OpenAI de meest expliciete routekaart voor toekomstige generatieve grote modellen in de industrie, wat betekent dat zelfs als het meerdere jaren duurt voordat de zelfontwikkelde chips klaar zijn, je je geen zorgen hoeft te maken dat de chips verouderd zijn als ze eenmaal in gebruik zijn. massaproductie. Vanuit dit perspectief zijn de zelfontwikkelde chips van OpenAI behoorlijk anders dan die van Google en Amazon, maar ze delen enkele overeenkomsten met Tesla's Dojo-serie zelfontwikkelde modeltrainingchips. Wat OpenAI echter onderscheidt, is dat hun vraag naar modeltraining kennelijk veel groter is dan die van Tesla, waardoor het belang van zelfontwikkelde chips voor OpenAI nog groter wordt.

Deze unieke kenmerken van OpenAI geven het de mogelijkheid om hoogwaardige chips te ontwikkelen die speciaal zijn ontworpen voor onconventionele doeleinden. Onlangs analyseerde Nvidia het prestatieverbeteringspatroon van zijn GPU's in een officiële blogpost. De GPU-rekenkracht van Nvidia is in minder dan tien jaar duizend keer toegenomen. Volgens de analyse wordt binnen deze duizendvoudige toename van de rekenkracht een optimalisatie van de rekenprecisie (zoals het gebruik van 1000-bits of zelfs 1000-bits drijvende-kommagetallen in plaats van de oorspronkelijke 16-bits drijvende-kommaberekening) gecombineerd met speciale computermodules bereikten een 8-voudige prestatieverbetering. Bovendien zorgde de gezamenlijke optimalisatie tussen chiparchitectuur en compilers voor een prestatieverbetering van 32 keer. Aan de andere kant was de prestatieverbetering die de halfgeleidertechnologie teweegbracht slechts tweevoudig. Daarom kan worden gezien dat op het gebied van krachtige computerchips het co-ontwerp van algoritmen en chiparchitectuur (inclusief modelalgoritmen en compileralgoritmen) de belangrijkste drijvende krachten zijn voor prestatieverbetering (ook bekend als de wet van Huang). Vanuit dit perspectief bevindt OpenAI zich inderdaad in een zeer voordelige positie. Met zijn diepgaande kennis van algoritmen wordt verwacht dat OpenAI de wet van Huang volledig zal benutten en in de komende jaren hoogwaardige computerchipontwerpen zal realiseren.

De uitdagingen van de zelfontwikkelde chips van OpenAI

Naast de voordelen zijn er inderdaad uitdagingen voor de zelfontwikkelde chips van OpenAI.

De belangrijkste uitdaging van krachtige chips, die zijn ontworpen voor grote modellen, ligt in hun complexiteit. Vanuit het perspectief van het chipontwerp is een zorgvuldige afweging nodig voor de rekeneenheden, de geheugentoegang en de interconnectiviteit binnen de krachtige computerchip. Om bijvoorbeeld aan de eisen van grote modellen te voldoen, is het zeer waarschijnlijk dat de chip gebruik zal maken van HBM (High Bandwidth Memory). Om een ​​hoge energie-efficiëntie en schaalbaarheid te bereiken, wordt verwacht dat geavanceerde procestechnologieën en chip-die-stacking-technieken zullen worden gebruikt voor een hoog rendement. Gedistribueerd computergebruik wordt vaak gebruikt voor grote modellen, waardoor de interconnectiviteit tussen chips cruciaal is (vergelijkbaar met Nvidia's NVLINK- en InfiniBand-technologieën voor GPU's zou OpenAI ook vergelijkbare technologieën vereisen). Voor elk van deze chipontwerpcomponenten is een ervaren team nodig om ze te implementeren, en om ze samen te integreren is een uitstekend architectonisch ontwerp nodig om de algehele prestaties te garanderen. Het binnen korte tijd opbouwen van een ervaren team om deze uitdagende ontwerpen aan te pakken, zal een belangrijke uitdaging zijn voor OpenAI.

Naast het chipontwerp is een andere belangrijke uitdaging voor OpenAI het waarborgen van de synergie tussen software en hardware, of met andere woorden, het ontwerpen van een krachtige compiler en het bijbehorende software-ecosysteem. Momenteel is een belangrijk voordeel van Nvidia GPU's hun CUDA-softwaresysteem, dat gedurende meer dan een decennium hoge prestaties en compatibiliteit heeft opgebouwd. In de zelfontwikkelde chip van OpenAI moet het compilersysteem ook hoge prestaties leveren, zoals CUDA, om de rekenkracht van de chip volledig te benutten. In tegenstelling tot andere technologiebedrijven die chips voor clouddiensten ontwikkelen, zijn de chips van OpenAI primair voor intern gebruik, waardoor er minder zorgen zijn over de ondersteuning van het ecosysteem en het gebruikersmodel. De prestaties van de compiler moeten echter die van Nvidia's CUDA benaderen. Sterker nog, OpenAI heeft al eerder op dit gebied geïnvesteerd. In juli van dit jaar kondigde OpenAI zijn AI-modelcompilatieoplossing aan, gebaseerd op de open-source Triton-taal. Het compileert Python-code naar een intermediaire representatie (IR) met behulp van de Triton-compiler en LLVM-compiler, die vervolgens kunnen worden gecompileerd in PTX-code en rechtstreeks kunnen worden uitgevoerd op GPU's en AI-versnellers die PTX ondersteunen. Vanuit dit perspectief kunnen de investeringen van OpenAI in compilers dienen als een voorloper van de zelfontwikkelde chips.

Tenslotte zal ook de specifieke productie van de chip een uitdaging vormen. Zoals eerder vermeld, zal OpenAI waarschijnlijk gebruik maken van geavanceerde procesknooppunten en geavanceerde verpakkingstechnologieën. Daarom zal het garanderen van een hoge opbrengst tijdens de productie en, belangrijker nog, het verkrijgen van voldoende productiecapaciteit voor massaproductie binnen het potentieel krappe aanbod van geavanceerde verpakkings- en procesknooppunten in de komende jaren een probleem zijn dat moet worden aangepakt.

Gezien deze drie uitdagingen zijn wij van mening dat het zelfontwikkelde chipplan van OpenAI meerdere stappen kan omvatten. Ten eerste kan OpenAI, voordat de technische en productieproblemen volledig zijn opgelost, ervoor kiezen om samen te werken met Microsoft (de grootste aandeelhouder, die ook een eigen chipplan heeft genaamd Athena) en Nvidia (of AMD). Ze kunnen kiezen voor semi-aangepaste chips, waarbij OpenAI bepaalde specificaties en zelfs wat intellectueel eigendom (IP) levert dat de chip moet ondersteunen, terwijl de samenwerkingspartners het ontwerp en de productie van de chip voor hun rekening nemen. Zodra de technische en productieproblemen zijn opgelost, kan OpenAI ervoor kiezen om zwaar te investeren in volledig op maat gemaakte chips, waardoor optimale prestaties en beheersbaarheid worden bereikt.