Kürzlich berichtete Reuters, dass OpenAI über selbst entwickelte Chips nachdenkt. Dem Bericht zufolge sucht OpenAI seit letztem Jahr aktiv nach Lösungen für den Mangel an Trainingschips für Modelle der künstlichen Intelligenz (insbesondere den Mangel an Nvidia-GPUs). Derzeit bereitet sich OpenAI aktiv auf selbst entwickelte Chips vor, um den zukünftigen Bedarf an KI-Chips zu decken. Tatsächlich hat der CEO von OpenAI, Sam Altman, vor nicht allzu langer Zeit öffentlich die erheblichen Auswirkungen des Nvidia-GPU-Mangels auf OpenAI und die gesamte KI-Branche anerkannt. Darüber hinaus rekrutiert OpenAI seit diesem Jahr Talente in hardwarebezogenen Bereichen. Auf der offiziellen Website werden mehrere Stellen im Zusammenhang mit Software-Hardware-Co-Design ausgeschrieben. Darüber hinaus rekrutierte OpenAI im September dieses Jahres auch Andrew Tulloch, einen renommierten Experten auf dem Gebiet der KI-Compiler, und untermauerte damit seine Investition in selbst entwickelte Chips. Vertreter von OpenAI lehnten es ab, sich zu dieser Angelegenheit zu äußern, aber wenn es zum Erfolg kommt, wird OpenAI sich den Reihen von Silicon-Valley-Technologiegiganten wie Google, Amazon, Microsoft und Tesla anschließen und ihre eigenen Chips entwickeln.

Warum will OpenAI eigene Chips entwickeln?

Wie bereits erwähnt, ist der Hauptgrund für die Entwicklung eigener Chips durch OpenAI der Mangel an GPUs. Genauer gesagt sind die Preise sowohl für den Kauf von Nvidia-GPUs als auch für die Nutzung GPU-basierter Cloud-Dienste zu hoch, insbesondere angesichts des exponentiellen Anstiegs der Rechenleistung, die für das zukünftige Modelltraining von OpenAI erforderlich ist.

OpenAI investiert seit mehreren Jahren strategisch in generative künstliche Intelligenz. Mit der Veröffentlichung von GPT-3 im letzten Jahr und ChatGPT in der zweiten Jahreshälfte haben sich die Fähigkeiten dieser groß angelegten generativen Sprachmodelle in den letzten Jahren erheblich verbessert und haben ein Stadium erreicht, in dem sie sinnvolle Gespräche mit Menschen führen können . Dadurch hat sich OpenAI zu einem führenden Unternehmen auf dem Gebiet der künstlichen Intelligenz entwickelt und die generative KI ist zu einer der einflussreichsten Technologien geworden, von denen erwartet wird, dass sie die menschliche Gesellschaft in den kommenden Jahren prägen werden. Laut Reuters verzeichnete OpenAI im vergangenen Jahr einen Umsatz von 28 Millionen US-Dollar, musste jedoch einen Gesamtverlust von 540 Millionen US-Dollar hinnehmen, der hauptsächlich auf die Ausgaben im Zusammenhang mit der Rechenleistung zurückzuführen ist. Es ist erwähnenswert, dass dieser massive Verlust von 540 Millionen US-Dollar im Jahr 2022 eintrat, kurz vor dem Aufschwung der generativen künstlichen Intelligenz.

Mit Blick auf die Zukunft wird erwartet, dass die Kosten im Zusammenhang mit der Rechenleistung exponentiell steigen. Dies liegt vor allem an:

• Der Wettbewerb bei Großmodellen wird immer intensiver und die Geschwindigkeit der Modellentwicklung wird immer schneller, was eine rasch steigende Rechenleistung erfordert. Neben OpenAI treiben auch Technologiegiganten wie Google eigene Großmodelle voran, was das Tempo der Modellentwicklung deutlich beschleunigt hat. Es wird erwartet, dass eine neue Modellgeneration alle viertel bis halbjährlich aktualisiert werden muss, und die für die modernsten Modelle erforderliche Rechenleistung wird schätzungsweise jedes Jahr um eine Größenordnung ansteigen.

• Großmaßstäbliche Modelle werden in einem breiteren Spektrum von Szenarien angewendet. Derzeit haben Microsoft und Google bereits damit begonnen, groß angelegte Modelle in den Bereichen Suche und Code-Schreiben einzusetzen. Es wird erwartet, dass es in Zukunft mehr Anwendungen für groß angelegte Modelle geben wird, einschließlich automatischer Aufgabenverarbeitung, multimodaler Fragen und Antworten usw. Dadurch wird die Anzahl der verschiedenen Modelle erheblich erhöht und auch die für die Modellbereitstellung erforderliche Gesamtrechenleistung erheblich erhöht .

Laut einer Analyse des amerikanischen Finanzunternehmens Bernstein würden sich die jährlichen GPU-Ausgaben von OpenAI auf 16 Milliarden US-Dollar belaufen, wenn der Traffic von ChatGPT ein Zehntel der Google-Suche erreicht (was auch eines der wichtigen Ziele von OpenAI für die Zukunft ist). Solche Kosten könnten möglicherweise zu einem erheblichen Engpass für die weitere Skalierung von OpenAI werden.

Wie viel Kosten kann OpenAI also einsparen, wenn es seine eigenen Chips entwickelt? Derzeit betragen die Anschaffungskosten für einen Server mit acht Nvidia H100-GPUs etwa 300,000 US-Dollar, und die Gesamtkosten für die dreijährige Nutzung dieses Servers, einschließlich der Prämie von Cloud-Dienstanbietern, belaufen sich auf etwa 1 Million US-Dollar (dies ist der offizielle Preis von AWS). , wobei die Preise anderer Cloud-Service-Anbieter voraussichtlich in der gleichen Größenordnung liegen). Wenn OpenAI mit seinen selbst entwickelten Chips die Kosten für einen solchen Acht-GPU-Server auf unter 100,000 US-Dollar senken kann, würde das seine Ausgaben deutlich senken. Wenn die selbst entwickelten Chips hingegen erfolgreich sind, ist es sehr vielversprechend, die Kosten einer einzelnen Beschleunigerkarte bei einem groß angelegten Einsatz auf unter 10,000 US-Dollar zu senken. Mit anderen Worten: Die Kosten eines Servers mit acht GPUs unter 100,000 US-Dollar zu halten, ist kein unerreichbares Ziel.

Fortsetzung folgt...