26 czerwca ogłoszono, że wschodzący amerykański startup Etched wypuścił na rynek swój pierwszy chip AI o nazwie Sohu. Układ ten wykazuje zdumiewającą wydajność podczas uruchamiania dużych modeli, przewyższając nawet 100-krotnie procesor H20, giganta branżowego NVIDIA. Nawet w porównaniu do topowego chipa B200 wypuszczonego na rynek w marcu tego roku, Sohu wykazuje ponad 10-krotnie wyższą wydajność.

Największy przełom w chipie Sohu polega na bezpośredniej integracji architektury Transformer z samym chipem. Według dyrektora generalnego Etched, Ubertiego, Sohu jest produkowany w zaawansowanym 4-nanometrowym procesie TSMC. Nie tylko znacznie przewyższa procesory graficzne i inne układy AI ogólnego przeznaczenia pod względem wydajności wnioskowania, ale także osiąga nowy poziom wydajności energetycznej.

Jeśli chodzi o technologię Transformer, Sohu niewątpliwie jest najszybszym chipem na rynku, wykazując znaczące różnice w wydajności o rząd wielkości w porównaniu z innymi produktami. Warto zauważyć, że wszystkie obecne produkty AI głównego nurtu, takie jak ChatGPT, Claude, Gemini i Sora, działają w oparciu o architekturę Transformer.

Jako pierwszy na świecie układ Transformer ASIC (Application-Specific Integrated Circuit), na szczególną uwagę zasługują zintegrowane aplikacje Sohu. Testy wykazały, że serwer wyposażony w 8 chipów Sohu może dorównać wydajnością klastra 160 procesorów graficznych H100. W szczególności serwer z 8 chipami Sohu może przetwarzać do 500,000 7 tokenów Llama XNUMXB na sekundę, co jest liczbą niespotykaną w branży.

Firma Etched, która stworzyła ten wyjątkowy chip, ma siedzibę w Cupertino w Kalifornii. Pomimo tego, że została założona zaledwie dwa lata temu i liczyła zaledwie 35 osób, jej założyciele Gavin Uberti (porzucił Harvard i były OctoML i Xnor.ai pracownik) i Chris Zhu, wraz z doświadczonymi ekspertami technicznymi Robertem Wachenem i byłym dyrektorem technicznym Cypress Semiconductor Markiem Rossem, z powodzeniem opracowali ten chip przeznaczony dla wielkomodelowych AI, demonstrując ich ogromną sprawność techniczną i nieograniczony potencjał.