Quelles sont les caractéristiques uniques des puces développées par OpenAI ?

Actuellement, de nombreuses entreprises technologiques ont développé leurs propres puces. Alors, qu’est-ce qui différencie les puces développées par OpenAI des puces développées par des sociétés comme Google et Amazon ?

Premièrement, les puces auto-développées par OpenAI sont uniquement destinées à leurs propres besoins de formation de modèles, ce qui est différent des modèles commerciaux d'entreprises comme Google et Amazon qui se concentrent sur la fourniture de puces auto-développées à utiliser sur les serveurs cloud par les clients. Pour des entreprises comme Google et Amazon, qui fournissent des puces auto-développées aux clients des services cloud, les scénarios d'utilisation des modèles ne sont pas clairs, la pile logicielle utilisée est incertaine et les modèles spécifiques en cours de formation sont également incertains. Par conséquent, la conception de leurs puces doit répondre aux exigences de compatibilité, sacrifiant souvent l’efficacité et les performances de chaque tâche de formation. D'un autre côté, les puces développées par OpenAI sont uniquement destinées à leur propre usage, et les modèles formés sont très spécifiques : de grands modèles de langage basés sur Transformers. OpenAI a également un contrôle total sur la pile logicielle utilisée, garantissant une conception très ciblée.

La deuxième différence réside dans la compréhension approfondie des modèles par OpenAI. OpenAI est une entreprise leader dans le domaine des modèles génératifs, et actuellement, les modèles de la série GPT restent les modèles génératifs les plus performants. OpenAI a accumulé des années d'expérience dans la recherche de modèles génératifs, ce qui signifie qu'elle possède une compréhension approfondie de diverses solutions de conception pour les modèles génératifs. Cela implique qu'OpenAI a la capacité et les connaissances nécessaires pour réaliser une co-conception de modèles de puces, en concevant des modèles en fonction des caractéristiques des puces et en spécifiant les métriques de conception des puces en fonction des exigences des modèles. Cela inclut l’optimisation des compromis entre les unités de calcul, le stockage et les interconnexions des puces. De plus, OpenAI possède la feuille de route la plus explicite du secteur pour les futurs grands modèles génératifs, ce qui signifie que même s'il faut plusieurs années pour que les puces auto-développées soient prêtes, il n'y a pas lieu de s'inquiéter du fait que les puces soient obsolètes une fois qu'elles sont en service. production de masse. De ce point de vue, les puces développées par OpenAI sont assez différentes de celles de Google et d'Amazon, mais elles partagent certaines similitudes avec la série Dojo de Tesla, des puces de formation de modèles auto-développées. Cependant, ce qui distingue OpenAI, c'est que leur demande en matière de formation de modèles est évidemment beaucoup plus élevée que celle de Tesla, ce qui rend l'importance des puces auto-développées encore plus grande pour OpenAI.

Ces fonctionnalités uniques d’OpenAI lui donnent la possibilité de réaliser des puces hautes performances conçues spécifiquement à des fins non conventionnelles. Récemment, Nvidia a analysé le modèle d'amélioration des performances de ses GPU dans un article de blog officiel. La puissance de calcul des GPU de Nvidia a été multipliée par 1000 1000 en moins d’une décennie. Selon l'analyse, dans le cadre de cette puissance de calcul multipliée par 16 8, l'optimisation de la précision des calculs (comme l'utilisation de nombres à virgule flottante de 32 ou même de 16 bits au lieu du calcul à virgule flottante original de 12.5 bits) combinée à des outils dédiés les modules informatiques ont obtenu une amélioration des performances de XNUMX fois. De plus, l'optimisation collaborative entre l'architecture de la puce et les compilateurs a permis d'améliorer les performances de XNUMX fois. En revanche, l’amélioration des performances apportée par la technologie des semi-conducteurs n’a été que doublée. Par conséquent, on peut constater que dans le domaine des puces de calcul haute performance, la conception conjointe d'algorithmes et d'architectures de puces (y compris les algorithmes de modèle et les algorithmes de compilateur) sont les principaux moteurs de l'amélioration des performances (également connue sous le nom de loi de Huang). De ce point de vue, OpenAI occupe effectivement une position très avantageuse. Grâce à sa compréhension approfondie des algorithmes, OpenAI devrait exploiter pleinement la loi de Huang et réaliser des conceptions de puces informatiques hautes performances au cours des prochaines années.

Les défis des puces auto-développées par OpenAI

En plus de leurs avantages, les puces développées par OpenAI présentent en effet des défis.

Le principal défi des puces hautes performances, conçues pour les grands modèles, réside dans leur complexité. Du point de vue de la conception des puces, une attention particulière est nécessaire aux unités de calcul, à l'accès à la mémoire et à l'interconnectivité au sein de la puce de calcul hautes performances. Par exemple, pour répondre aux exigences des grands modèles, il est fort probable que la puce utilise du HBM (High Bandwidth Memory). Pour atteindre une efficacité énergétique et une évolutivité élevées, des technologies de traitement avancées et des techniques d'empilement de puces devraient être utilisées pour un rendement élevé. L'informatique distribuée est souvent utilisée pour les grands modèles, ce qui rend l'interconnectivité entre les puces cruciale (à l'instar des technologies NVLINK et InfiniBand de Nvidia pour les GPU, OpenAI nécessiterait également des technologies similaires). Chacun de ces composants de conception de puce nécessite une équipe expérimentée pour être mis en œuvre, et leur intégration nécessite une excellente conception architecturale pour garantir des performances globales. Construire une équipe expérimentée dans un court laps de temps pour s'attaquer à ces conceptions difficiles sera un défi important pour OpenAI.

Outre la conception des puces, un autre défi important pour OpenAI est d'assurer la synergie entre le logiciel et le matériel, ou en d'autres termes, de concevoir un compilateur hautes performances et un écosystème logiciel associé. Actuellement, l’un des principaux avantages des GPU Nvidia réside dans leur système logiciel CUDA, qui a accumulé des performances et une compatibilité élevées sur plus d’une décennie. Dans la puce développée par OpenAI, le système de compilation doit également atteindre des performances élevées comme CUDA pour utiliser pleinement la puissance de calcul de la puce. Contrairement à d'autres entreprises technologiques qui développent des puces pour les services cloud, les puces d'OpenAI sont principalement destinées à un usage interne, de sorte que l'on se préoccupe moins de la prise en charge de l'écosystème et du modèle utilisateur. Cependant, les performances du compilateur doivent se rapprocher de celles du CUDA de Nvidia. En fait, OpenAI a déjà investi dans ce domaine auparavant. En juillet de cette année, OpenAI a annoncé sa solution de compilation de modèles d'IA basée sur le langage open source Triton. Il compile le code Python en représentation intermédiaire (IR) à l'aide du compilateur Triton et du compilateur LLVM, qui peut ensuite être compilé en code PTX et exécuté directement sur les GPU et les accélérateurs d'IA prenant en charge PTX. De ce point de vue, l'investissement d'OpenAI dans les compilateurs pourrait servir de précurseur à ses puces auto-développées.

Enfin, la production spécifique de la puce constituera également un défi. Comme mentionné précédemment, OpenAI utilisera probablement des nœuds de processus avancés et des technologies de packaging avancées. Par conséquent, garantir un rendement élevé pendant la production et, plus important encore, obtenir une capacité de production suffisante pour produire en masse dans le cadre d’une offre potentiellement limitée d’emballages et de nœuds de processus avancés dans les années à venir sera un problème qui devra être résolu.

Compte tenu de ces trois défis, nous pensons que le plan de puce auto-développé par OpenAI peut impliquer plusieurs étapes. Premièrement, avant que les problèmes techniques et de production ne soient entièrement résolus, OpenAI peut choisir de collaborer avec Microsoft (son principal actionnaire, qui possède également son propre plan de puces appelé Athena) et Nvidia (ou AMD). Ils peuvent opter pour des puces semi-personnalisées, dans lesquelles OpenAI fournit certaines spécifications et même une certaine propriété intellectuelle (IP) que la puce doit prendre en charge, tandis que les partenaires collaboratifs s'occupent de la conception et de la production de la puce. Une fois les problèmes techniques et de production résolus, OpenAI peut choisir d’investir massivement dans des puces entièrement personnalisées, obtenant ainsi des performances et une contrôlabilité optimales.