Op 26 juni werd gemeld dat de opkomende Amerikaanse chipstartup Etched zijn eerste AI-chip heeft gelanceerd, genaamd Sohu. Deze chip demonstreert verbazingwekkende prestaties bij het uitvoeren van grootschalige modellen en overtreft de H100 van industriegigant NVIDIA tot wel 20 keer. Zelfs vergeleken met de topchip B200 die in maart van dit jaar werd uitgebracht, vertoont Sohu meer dan 10 keer superieure prestaties.

De grote doorbraak van de Sohu-chip ligt in de directe integratie van de Transformer-architectuur in de chip zelf. Volgens CEO Uberti van Etched wordt Sohu vervaardigd met behulp van het geavanceerde 4-nanometerproces van TSMC. Het overtreft niet alleen GPU's en andere AI-chips voor algemeen gebruik ruimschoots wat betreft inferentieprestaties, maar bereikt ook nieuwe hoogten op het gebied van energie-efficiëntie.

Wat de Transformer-technologie betreft, is Sohu ongetwijfeld de snelste chip op de markt, die aanzienlijke prestatieverschillen laat zien in vergelijking met andere producten. Het is vermeldenswaard dat de huidige reguliere AI-producten zoals ChatGPT, Claude, Gemini en Sora allemaal worden aangedreven door Transformer-architectuur.

Als 's werelds eerste Transformer ASIC-chip (Application-Specific Integrated Circuit) zijn de geïntegreerde toepassingen van Sohu bijzonder opmerkelijk. Uit tests is gebleken dat een server uitgerust met 8 Sohu-chips de prestaties kan evenaren van een cluster van 160 H100 GPU's. Concreet kan een server met 8 Sohu-chips tot 500,000 Llama 7B-tokens per seconde verwerken, een cijfer dat ongekend is in de branche.

Etched, het bedrijf achter deze uitstekende chip, is gevestigd in Cupertino, Californië. Ondanks dat het pas twee jaar geleden werd opgericht met een team van slechts 35 mensen, hebben de oprichters Gavin Uberti (een drop-out van Harvard en voormalig OctoML en Xnor.ai medewerker) en Chris Zhu hebben samen met doorgewinterde technische experts Robert Wachen en voormalig CTO van Cypress Semiconductor Mark Ross met succes deze chip ontwikkeld die is ontworpen voor grote AI-modellen, waarmee hun formidabele technische bekwaamheid en grenzeloze potentieel wordt gedemonstreerd.