Em 26 de junho, foi relatado que a emergente startup americana de chips Etched lançou seu primeiro chip de IA, chamado Sohu. Este chip demonstra um desempenho surpreendente ao executar modelos de grande escala, superando o H100 da gigante da indústria NVIDIA em até 20 vezes. Mesmo comparado ao chip topo de linha B200 lançado em março deste ano, o Sohu mostra um desempenho 10 vezes superior.

O maior avanço do chip Sohu reside na integração direta da arquitetura Transformer no próprio chip. De acordo com Uberti, CEO da Etched, o Sohu é fabricado usando o avançado processo de 4 nanômetros da TSMC. Ele não apenas excede em muito as GPUs e outros chips de IA de uso geral em desempenho de inferência, mas também atinge novos patamares em eficiência de energia.

Para a tecnologia Transformer, o Sohu é sem dúvida o chip mais rápido do mercado, apresentando diferenças significativas de ordem de grandeza no desempenho em comparação com outros produtos. É importante notar que os atuais produtos de IA convencionais, como ChatGPT, Claude, Gemini e Sora, são todos alimentados pela arquitetura Transformer.

Como o primeiro chip Transformer ASIC (Circuito Integrado de Aplicação Específica) do mundo, as aplicações integradas do Sohu são particularmente notáveis. Os testes mostraram que um servidor equipado com 8 chips Sohu pode igualar o desempenho de um cluster de 160 GPUs H100. Especificamente, um servidor com 8 chips Sohu pode processar até 500,000 tokens Llama 7B por segundo, um número sem precedentes na indústria.

A Etched, a empresa por trás deste excelente chip, está localizada em Cupertino, Califórnia. Apesar de ter sido fundada há apenas dois anos com uma equipe de apenas 35 pessoas, seus fundadores Gavin Uberti (que abandonou Harvard e ex-OctoML e Xnor.ai funcionário) e Chris Zhu, juntamente com os especialistas técnicos experientes Robert Wachen e o ex-CTO da Cypress Semiconductor Mark Ross, desenvolveram com sucesso este chip projetado para IA de grandes modelos, demonstrando sua formidável habilidade técnica e potencial ilimitado.