Récemment, Reuters a rapporté qu'OpenAI envisageait de développer des puces auto-développées. Selon le rapport, depuis l’année dernière, OpenAI recherche activement des solutions à la pénurie de puces de formation pour les modèles d’intelligence artificielle (en particulier la rareté des GPU Nvidia). Actuellement, OpenAI prépare activement des puces auto-développées pour répondre aux futures demandes de puces IA. En fait, il n'y a pas si longtemps, Sam Altman, PDG d'OpenAI, a reconnu publiquement l'impact significatif des pénuries de GPU Nvidia sur OpenAI et sur l'ensemble du secteur de l'IA. De plus, depuis cette année, OpenAI recrute des talents dans les domaines liés au matériel, avec plusieurs postes liés à la co-conception logiciel-matériel annoncés sur son site officiel. De plus, en septembre de cette année, OpenAI a également recruté Andrew Tulloch, un expert renommé dans le domaine des compilateurs d'IA, démontrant ainsi son investissement dans des puces auto-développées. Les responsables d'OpenAI ont refusé de commenter cette question, mais si cela se concrétise, OpenAI rejoindra les rangs des géants technologiques de la Silicon Valley tels que Google, Amazon, Microsoft et Tesla pour développer leurs propres puces.

Pourquoi OpenAI souhaite-t-il développer ses propres puces ?

Comme mentionné précédemment, la principale raison derrière le développement par OpenAI de ses propres puces est la pénurie de GPU. Plus précisément, les prix d'achat de GPU Nvidia et d'utilisation de services cloud basés sur GPU sont trop élevés, en particulier compte tenu de l'augmentation exponentielle de la puissance de calcul requise pour la future formation des modèles d'OpenAI.

OpenAI investit stratégiquement dans l’intelligence artificielle générative depuis plusieurs années. Avec la sortie de GPT-3 l'année dernière et de ChatGPT au cours du second semestre, les capacités de ces modèles de langage génératifs à grande échelle se sont considérablement améliorées au cours des dernières années, atteignant un stade où ils peuvent engager des conversations significatives avec des humains. . En conséquence, OpenAI est devenu un leader dans le domaine de l’intelligence artificielle, et l’IA générative est devenue l’une des technologies les plus marquantes susceptibles de façonner la société humaine dans les années à venir. Selon Reuters, OpenAI a enregistré un chiffre d'affaires de 28 millions de dollars l'année dernière, mais a subi une perte globale de 540 millions de dollars, principalement en raison des dépenses liées à la puissance de calcul. Il convient de noter que cette perte massive de 540 millions de dollars s’est produite en 2022, juste avant l’essor de l’intelligence artificielle générative.

À l’avenir, les dépenses liées à la puissance de calcul devraient augmenter de façon exponentielle. Ceci est principalement dû à :

• La concurrence dans les modèles à grande échelle devient de plus en plus intense et la vitesse d'évolution des modèles s'accélère, ce qui nécessite une puissance de calcul rapidement croissante. Outre OpenAI, les géants de la technologie tels que Google proposent également leurs propres modèles à grande échelle, ce qui a considérablement accéléré le rythme de l’évolution des modèles. On s'attend à ce qu'une nouvelle génération de modèles doive être mise à jour tous les trimestres ou six mois, et la puissance de calcul requise pour les modèles les plus avancés devrait augmenter d'un ordre de grandeur chaque année.

• Les modèles à grande échelle sont appliqués dans un plus large éventail de scénarios. Actuellement, Microsoft et Google ont déjà commencé à utiliser des modèles à grande échelle dans les domaines de la recherche et de l'écriture de code. On s'attend à ce qu'il y ait davantage d'applications pour les modèles à grande échelle à l'avenir, notamment le traitement automatique des tâches, les questions et réponses multimodales, etc. Celles-ci augmenteront considérablement le nombre de modèles différents, ainsi que la puissance de calcul totale requise pour le déploiement du modèle. .

Selon l'analyse de la société financière américaine Bernstein, si le trafic de ChatGPT atteignait un dixième de celui des recherches Google (ce qui est également l'un des objectifs importants d'OpenAI à l'avenir), les dépenses annuelles d'OpenAI en matière de GPU s'élèveraient à 16 milliards de dollars. De telles dépenses pourraient potentiellement devenir un goulot d'étranglement important pour la poursuite du développement d'OpenAI.

Alors, combien d’argent OpenAI peut-il économiser s’il développe ses propres puces ? Actuellement, le coût d'achat d'un serveur équipé de huit GPU Nvidia H100 est d'environ 300,000 1 dollars, et le coût total d'utilisation de ce serveur pendant trois ans, y compris la prime des fournisseurs de services cloud, est d'environ 100,000 million de dollars (c'est le prix officiel indiqué par AWS). , les prix des autres fournisseurs de services cloud devant être dans la même fourchette). Si OpenAI pouvait réduire le coût d'un tel serveur à huit GPU à moins de 10,000 100,000 $ avec ses puces auto-développées, cela réduirait considérablement ses dépenses. D’un autre côté, si les puces auto-développées réussissent, il est très prometteur de contrôler le coût d’une seule carte accélératrice à moins de XNUMX XNUMX dollars dans le cas d’un déploiement à grande échelle. En d’autres termes, contrôler le coût d’un serveur à huit GPU en dessous de XNUMX XNUMX $ n’est pas un objectif inatteignable.

À suivre...