Il 26 giugno è stato riferito che la startup americana emergente di chip Etched ha lanciato il suo primo chip AI, chiamato Sohu. Questo chip dimostra prestazioni sorprendenti durante l'esecuzione di modelli su larga scala, superando fino a 100 volte l'H20 del gigante del settore NVIDIA. Anche rispetto al chip B200 di punta rilasciato nel marzo di quest'anno, Sohu mostra prestazioni oltre 10 volte superiori.

La principale innovazione del chip Sohu risiede nella sua diretta integrazione dell'architettura Transformer nel chip stesso. Secondo Uberti, CEO di Etched, Sohu è prodotto utilizzando l'avanzato processo a 4 nanometri di TSMC. Non solo supera di gran lunga le GPU e altri chip IA generici in termini di prestazioni di inferenza, ma raggiunge anche nuovi traguardi in termini di efficienza energetica.

Per la tecnologia Transformer, Sohu è senza dubbio il chip più veloce sul mercato, mostrando differenze significative di ordini di grandezza nelle prestazioni rispetto ad altri prodotti. Vale la pena notare che gli attuali prodotti AI tradizionali come ChatGPT, Claude, Gemini e Sora sono tutti basati sull'architettura Transformer.

Essendo il primo chip Transformer ASIC (Application-Specific Integrated Circuit) al mondo, le applicazioni integrate di Sohu sono particolarmente degne di nota. I test hanno dimostrato che un server dotato di 8 chip Sohu può eguagliare le prestazioni di un cluster di 160 GPU H100. Nello specifico, un server con 8 chip Sohu può elaborare fino a 500,000 token Llama 7B al secondo, una cifra senza precedenti nel settore.

Etched, la società dietro questo eccezionale chip, ha sede a Cupertino, in California. Nonostante sia stata fondata solo due anni fa con un team di appena 35 persone, i suoi fondatori Gavin Uberti (un abbandono di Harvard ed ex OctoML e Xnor.ai dipendente) e Chris Zhu, insieme agli esperti tecnici Robert Wachen e all'ex CTO di Cypress Semiconductor Mark Ross, hanno sviluppato con successo questo chip progettato per l'intelligenza artificiale di grandi dimensioni, dimostrando la loro formidabile abilità tecnica e il potenziale illimitato.