Recentemente, a Reuters informou que a OpenAI está considerando chips de desenvolvimento próprio. Segundo o relatório, desde o ano passado, a OpenAI tem procurado ativamente soluções para a escassez de chips de treinamento para modelos de inteligência artificial (especificamente, a escassez de GPUs Nvidia). Atualmente, a OpenAI está se preparando ativamente para chips de desenvolvimento próprio para atender às demandas futuras por chips de IA. Na verdade, não muito tempo atrás, o CEO da OpenAI, Sam Altman, reconheceu publicamente o impacto significativo da escassez de GPUs da Nvidia na OpenAI e em toda a indústria de IA. Além disso, a partir deste ano, a OpenAI vem recrutando talentos em áreas relacionadas a hardware, com diversos cargos relacionados ao co-design de software-hardware anunciados em seu site oficial. Além disso, em setembro deste ano, a OpenAI também recrutou Andrew Tulloch, um renomado especialista na área de compiladores de IA, indicando ainda seu investimento em chips de desenvolvimento próprio. Os funcionários da OpenAI se recusaram a comentar sobre este assunto, mas se isso se concretizar, a OpenAI se juntará às fileiras dos gigantes da tecnologia do Vale do Silício, como Google, Amazon, Microsoft e Tesla, no desenvolvimento de seus próprios chips.

Por que a OpenAI deseja desenvolver seus próprios chips?

Conforme mencionado anteriormente, a principal razão por trás do desenvolvimento de seus próprios chips pela OpenAI é a escassez de GPUs. Mais especificamente, os preços de compra de GPUs Nvidia e de uso de serviços em nuvem baseados em GPU são muito altos, especialmente considerando o aumento exponencial no poder de computação necessário para o futuro treinamento do modelo OpenAI.

A OpenAI vem investindo estrategicamente em inteligência artificial generativa há vários anos. Com o lançamento do GPT-3 no ano passado e do ChatGPT na segunda metade do ano, as capacidades destes modelos de linguagem generativa em larga escala melhoraram significativamente nos últimos anos, atingindo um estágio em que podem participar em conversas significativas com humanos. . Como resultado, a OpenAI emergiu como líder no campo da inteligência artificial, e a IA generativa tornou-se uma das tecnologias de maior impacto que deverá moldar a sociedade humana nos próximos anos. De acordo com a Reuters, a OpenAI registrou receita de US$ 28 milhões no ano passado, mas sofreu um prejuízo geral de US$ 540 milhões, principalmente devido às despesas relacionadas ao poder de computação. É importante notar que esta perda massiva de 540 milhões de dólares ocorreu em 2022, pouco antes do aumento da inteligência artificial generativa.

Olhando para o futuro, espera-se que as despesas relacionadas com o poder computacional aumentem exponencialmente. Isto se deve principalmente a:

• A concorrência em modelos de grande escala está a tornar-se mais intensa e a velocidade de evolução dos modelos está a tornar-se mais rápida, exigindo um poder computacional cada vez maior. Além da OpenAI, gigantes da tecnologia como o Google também estão impulsionando seus próprios modelos em grande escala, o que acelerou significativamente o ritmo de evolução dos modelos. Espera-se que uma nova geração de modelos precise ser atualizada a cada trimestre ou meio ano, e estima-se que o poder de computação necessário para os modelos mais avançados aumente em uma ordem de grandeza a cada ano.

• Modelos de grande escala estão sendo aplicados em uma ampla gama de cenários. Atualmente, a Microsoft e o Google já começaram a usar modelos em larga escala nas áreas de pesquisa e escrita de código. Espera-se que no futuro haja mais aplicações para modelos de grande escala, incluindo processamento automático de tarefas, perguntas e respostas multimodais, etc. Isso aumentará muito o número de modelos diferentes e também aumentará significativamente o poder computacional total necessário para a implantação do modelo .

De acordo com a análise da empresa financeira americana Bernstein, se o tráfego do ChatGPT atingir um décimo da pesquisa do Google (que também é um dos objetivos importantes da OpenAI no futuro), as despesas anuais com GPU da OpenAI seriam de US$ 16 bilhões. Tais despesas poderiam potencialmente tornar-se um gargalo significativo para a expansão adicional da OpenAI.

Então, quanto custo a OpenAI pode economizar se desenvolver seus próprios chips? Atualmente, o custo de compra de um servidor com oito GPUs Nvidia H100 é de aproximadamente US$ 300,000, e o custo total de uso deste servidor por três anos, incluindo o prêmio dos provedores de serviços em nuvem, é de cerca de US$ 1 milhão (este é o preço oficial cotado pela AWS , com preços de outros provedores de serviços em nuvem esperados na mesma faixa). Se a OpenAI puder reduzir o custo de um servidor de oito GPUs para menos de US$ 100,000 com seus chips de desenvolvimento próprio, isso reduziria significativamente suas despesas. Por outro lado, se os chips autodesenvolvidos forem bem-sucedidos, é muito promissor controlar o custo de uma única placa aceleradora para menos de US$ 10,000 no caso de implantação em larga escala. Em outras palavras, controlar o custo de um servidor de oito GPU abaixo de US$ 100,000 não é uma meta inatingível.

Para continuar ...