Quais são os recursos exclusivos dos chips desenvolvidos pela OpenAI?

Atualmente, existem muitas empresas de tecnologia que desenvolveram seus próprios chips. Então, o que diferencia os chips desenvolvidos pela própria OpenAI dos chips desenvolvidos por empresas como Google e Amazon?

Em primeiro lugar, os chips autodesenvolvidos da OpenAI são puramente para fins de treinamento de modelo próprio, o que é diferente dos modelos comerciais de empresas como Google e Amazon que se concentram em fornecer chips autodesenvolvidos para uso em servidores em nuvem pelos clientes. Para empresas como Google e Amazon, que fornecem chips autodesenvolvidos para clientes de serviços em nuvem, os cenários de uso dos modelos não são claros, a pilha de software usada é incerta e os modelos específicos que estão sendo treinados também são incertos. Portanto, os designs de seus chips precisam atender aos requisitos de compatibilidade, muitas vezes sacrificando a eficiência e o desempenho de cada tarefa de treinamento. Por outro lado, os chips desenvolvidos pela OpenAI são apenas para uso próprio, e os modelos treinados são muito específicos: grandes modelos de linguagem baseados em Transformers. OpenAI também tem controle total sobre a pilha de software usada, garantindo um design altamente direcionado.

A segunda diferença está no profundo conhecimento dos modelos pela OpenAI. OpenAI é uma empresa líder na área de modelos generativos e, atualmente, os modelos da série GPT ainda são os modelos generativos de melhor desempenho. A OpenAI acumulou anos de experiência em pesquisa de modelos generativos, o que significa que possui um conhecimento profundo de várias soluções de design para modelos generativos. Isso implica que a OpenAI tem a capacidade e o conhecimento para fazer o co-design de modelos de chips, projetando modelos de acordo com as características dos chips e especificando as métricas de design dos chips com base nos requisitos dos modelos. Isso inclui a otimização de compensações entre unidades computacionais, armazenamento e interconexões de chips. Além disso, a OpenAI tem o roteiro mais explícito para futuros grandes modelos generativos da indústria, o que significa que mesmo que demore vários anos para que os chips autodesenvolvidos estejam prontos, não há necessidade de se preocupar com a desatualização dos chips quando estiverem em uso. produção em massa. Dessa perspectiva, os chips autodesenvolvidos da OpenAI são bastante diferentes daqueles do Google e da Amazon, mas compartilham algumas semelhanças com a série Dojo de chips de treinamento de modelo autodesenvolvidos da Tesla. No entanto, o que diferencia a OpenAI é que sua demanda por treinamento de modelo é evidentemente muito maior do que a da Tesla, tornando a importância dos chips autodesenvolvidos ainda maior para a OpenAI.

Esses recursos exclusivos do OpenAI oferecem a oportunidade de obter chips de alto desempenho projetados especificamente para fins não convencionais. Recentemente, a Nvidia analisou o padrão de melhoria de desempenho de suas GPUs em uma postagem no blog oficial. O poder de computação da GPU da Nvidia aumentou 1000 vezes em menos de uma década. De acordo com a análise, dentro deste aumento de 1000 vezes no poder de computação, a otimização da precisão computacional (como o uso de números de ponto flutuante de 16 bits ou mesmo de 8 bits em vez do cálculo original de ponto flutuante de 32 bits) combinada com recursos dedicados módulos de computação alcançaram uma melhoria de desempenho de 16 vezes. Além disso, a otimização colaborativa entre a arquitetura do chip e os compiladores proporcionou uma melhoria de desempenho de 12.5 vezes. Por outro lado, a melhoria de desempenho trazida pela tecnologia de semicondutores foi apenas dupla. Portanto, pode-se ver que no campo de chips de computação de alto desempenho, o co-projeto de algoritmos e arquiteturas de chips (incluindo algoritmos de modelo e algoritmos de compilador) são as principais forças motrizes para a melhoria de desempenho (também conhecida como Lei de Huang). Desta perspectiva, a OpenAI está de facto numa posição muito vantajosa. Com seu profundo conhecimento de algoritmos, espera-se que a OpenAI aproveite totalmente a Lei de Huang e alcance designs de chips de computação de alto desempenho nos próximos anos.

Os desafios dos chips desenvolvidos pela OpenAI

Além de suas vantagens, existem de fato desafios para os chips desenvolvidos pela própria OpenAI.

O principal desafio dos chips de alto desempenho, projetados para modelos grandes, reside na sua complexidade. Do ponto de vista do design do chip, é necessária uma consideração cuidadosa das unidades computacionais, do acesso à memória e da interconectividade dentro do chip de computação de alto desempenho. Por exemplo, para atender aos requisitos de modelos grandes, é altamente provável que o chip utilize HBM (High Bandwidth Memory). Para alcançar alta eficiência energética e escalabilidade, espera-se que tecnologias avançadas de processo e técnicas de empilhamento de chips sejam empregadas para alto rendimento. A computação distribuída é frequentemente usada para modelos grandes, tornando crucial a interconectividade entre chips (semelhante às tecnologias NVLINK e InfiniBand da Nvidia para GPUs, OpenAI também exigiria tecnologias semelhantes). Cada um desses componentes de design de chip requer uma equipe experiente para ser implementado, e integrá-los exige um excelente projeto arquitetônico para garantir o desempenho geral. Construir uma equipe experiente em um curto período de tempo para enfrentar esses projetos desafiadores será um desafio importante para a OpenAI.

Além do design do chip, outro desafio significativo para a OpenAI é garantir a sinergia entre software e hardware, ou em outras palavras, projetar um compilador de alto desempenho e um ecossistema de software relacionado. Atualmente, uma das principais vantagens das GPUs Nvidia é o sistema de software CUDA, que acumulou alto desempenho e compatibilidade ao longo de mais de uma década. No chip desenvolvido pela OpenAI, o sistema compilador também precisa atingir alto desempenho como CUDA para utilizar totalmente o poder de computação do chip. Ao contrário de outras empresas de tecnologia que desenvolvem chips para serviços em nuvem, os chips da OpenAI são principalmente para uso interno, portanto há menos preocupação com o ecossistema e o suporte ao modelo do usuário. No entanto, o desempenho do compilador precisa se aproximar do CUDA da Nvidia. Na verdade, a OpenAI já fez investimentos nesta área anteriormente. Em julho deste ano, a OpenAI anunciou sua solução de compilação de modelos de IA baseada na linguagem de código aberto Triton. Ele compila o código Python em representação intermediária (IR) usando o compilador Triton e o compilador LLVM, que pode então ser compilado em código PTX e executado diretamente em GPUs e aceleradores de IA que suportam PTX. Nesta perspectiva, o investimento da OpenAI em compiladores pode servir como precursor dos seus chips de desenvolvimento próprio.

Por último, a produção específica do chip também representará um desafio. Conforme mencionado anteriormente, o OpenAI provavelmente utilizará nós de processos avançados e tecnologias de empacotamento avançadas. Portanto, garantir um alto rendimento durante a produção e, mais importante, obter capacidade de produção suficiente para produzir em massa dentro da oferta potencialmente restrita de embalagens avançadas e nós de processo nos próximos anos será um problema que precisa ser resolvido.

Considerando esses três desafios, acreditamos que o plano de chips desenvolvido pela própria OpenAI pode envolver várias etapas. Em primeiro lugar, antes que as questões técnicas e de produção sejam totalmente resolvidas, a OpenAI pode optar por colaborar com a Microsoft (seu maior acionista, que também tem o seu próprio plano de chips chamado Athena) e a Nvidia (ou AMD). Eles podem optar por chips semipersonalizados, onde a OpenAI fornece certas especificações e até mesmo alguma propriedade intelectual (IP) que o chip precisa suportar, enquanto os parceiros colaborativos cuidam do design e da produção do chip. Uma vez resolvidos os problemas técnicos e de produção, a OpenAI pode optar por investir pesadamente em chips totalmente customizados, alcançando desempenho e controlabilidade ideais.