Jakie są unikalne cechy samodzielnie opracowanych chipów OpenAI?

Obecnie istnieje wiele firm technologicznych, które opracowały własne chipy. Czym więc samodzielnie opracowane chipy OpenAI różnią się od samodzielnie opracowanych chipów takich firm jak Google i Amazon?

Po pierwsze, samodzielnie opracowane chipy OpenAI służą wyłącznie do celów szkoleniowych w zakresie własnych modeli, co różni się od komercyjnych modeli firm takich jak Google i Amazon, które koncentrują się na dostarczaniu klientom samodzielnie opracowanych chipów do użytku na serwerach w chmurze. W przypadku firm takich jak Google i Amazon, które dostarczają samodzielnie opracowane chipy klientom usług w chmurze, scenariusze użycia modeli nie są jasne, używany stos oprogramowania jest niepewny, a konkretne szkolone modele również są niepewne. Dlatego projekty ich chipów muszą spełniać wymagania dotyczące kompatybilności, często poświęcając wydajność i wydajność dla każdego zadania szkoleniowego. Z drugiej strony samodzielnie opracowane chipy OpenAI są przeznaczone wyłącznie do ich własnego użytku, a trenowane modele są bardzo specyficzne: duże modele językowe oparte na Transformersach. OpenAI ma również pełną kontrolę nad używanym stosem oprogramowania, zapewniając wysoce ukierunkowane projektowanie.

Druga różnica polega na głębokim zrozumieniu modeli przez OpenAI. OpenAI jest wiodącą firmą w dziedzinie modeli generatywnych, a obecnie modele serii GPT są nadal najlepiej działającymi modelami generatywnymi. OpenAI zgromadziło wieloletnie doświadczenie w badaniach modeli generatywnych, co oznacza, że ​​ma głęboką wiedzę na temat różnych rozwiązań projektowych dla modeli generatywnych. Oznacza to, że OpenAI ma możliwości i wiedzę w zakresie wspólnego projektowania modeli chipów, projektowania modeli zgodnie z charakterystyką chipów i określania metryk projektowych chipów w oparciu o wymagania modeli. Obejmuje to optymalizację kompromisów między jednostkami obliczeniowymi, pamięcią masową i połączeniami chipów. Co więcej, OpenAI ma najbardziej przejrzysty plan działania dotyczący przyszłych dużych modeli generatywnych w branży, co oznacza, że ​​nawet jeśli przygotowanie samodzielnie opracowanych chipów zajmie kilka lat, nie ma potrzeby martwić się, że chipy staną się przestarzałe, gdy znajdą się w użyciu produkcja masowa. Z tej perspektywy samodzielnie opracowane chipy OpenAI różnią się znacznie od chipów Google i Amazon, ale mają pewne podobieństwa z serią samodzielnie opracowanych chipów szkoleniowych Dojo firmy Tesla. Jednak tym, co wyróżnia OpenAI, jest to, że ich zapotrzebowanie na szkolenie modelowe jest wyraźnie wyższe niż Tesli, co sprawia, że ​​znaczenie samodzielnie opracowanych chipów dla OpenAI jest jeszcze większe.

Te unikalne cechy OpenAI dają mu możliwość uzyskania wysokowydajnych chipów zaprojektowanych specjalnie do niekonwencjonalnych celów. Niedawno firma Nvidia w oficjalnym poście na blogu przeanalizowała schemat poprawy wydajności swoich procesorów graficznych. Moc obliczeniowa GPU Nvidii wzrosła 1000-krotnie w ciągu niecałej dekady. Jak wynika z analizy, w ramach tego 1000-krotnego wzrostu mocy obliczeniowej optymalizacja precyzji obliczeń (np. użycie 16- lub nawet 8-bitowych liczb zmiennoprzecinkowych zamiast oryginalnych 32-bitowych obliczeń zmiennoprzecinkowych) w połączeniu z dedykowanymi moduły obliczeniowe osiągnęły 16-krotną poprawę wydajności. Ponadto oparta na współpracy optymalizacja architektury chipów i kompilatorów zapewniła 12.5-krotną poprawę wydajności. Z drugiej strony poprawa wydajności, jaką przyniosła technologia półprzewodnikowa, była tylko dwukrotna. Można zatem zauważyć, że w dziedzinie wysokowydajnych chipów obliczeniowych, wspólne projektowanie algorytmów i architektur chipów (w tym algorytmów modelowych i algorytmów kompilatora) jest główną siłą napędową poprawy wydajności (znaną również jako prawo Huanga). Z tej perspektywy OpenAI jest rzeczywiście w bardzo korzystnej sytuacji. Oczekuje się, że dzięki głębokiemu zrozumieniu algorytmów OpenAI w pełni wykorzysta prawo Huanga i w ciągu najbliższych kilku lat stworzy projekty chipów obliczeniowych o wysokiej wydajności.

Wyzwania związane z samodzielnie opracowanymi chipami OpenAI

Oprócz zalet, istnieją rzeczywiście wyzwania stojące przed samodzielnie opracowanymi chipami OpenAI.

Głównym wyzwaniem w przypadku wysokowydajnych chipów przeznaczonych dla dużych modeli jest ich złożoność. Z punktu widzenia projektowania chipa należy dokładnie rozważyć jednostki obliczeniowe, dostęp do pamięci i wzajemne połączenia w ramach wysokowydajnego chipa obliczeniowego. Na przykład, aby spełnić wymagania dużych modeli, jest wysoce prawdopodobne, że chip będzie wykorzystywał HBM (High Bandwidth Memory). Aby osiągnąć wysoką efektywność energetyczną i skalowalność, oczekuje się zastosowania zaawansowanych technologii procesowych i technik układania chipów w celu uzyskania wysokiej wydajności. Przetwarzanie rozproszone jest często wykorzystywane w przypadku dużych modeli, co sprawia, że ​​wzajemna łączność między chipami ma kluczowe znaczenie (podobnie jak technologie NVLINK i InfiniBand firmy Nvidia dla procesorów graficznych, OpenAI również wymagałoby podobnych technologii). Do wdrożenia każdego z tych elementów układu scalonego potrzebny jest doświadczony zespół, a ich zintegrowanie wymaga doskonałego projektu architektonicznego, aby zapewnić ogólną wydajność. Zbudowanie w krótkim czasie doświadczonego zespołu, który poradziłby sobie z tak wymagającymi projektami, będzie ważnym wyzwaniem dla OpenAI.

Oprócz projektowania chipów, kolejnym znaczącym wyzwaniem dla OpenAI jest zapewnienie synergii pomiędzy oprogramowaniem i sprzętem, czyli innymi słowy zaprojektowanie wysokowydajnego kompilatora i powiązanego ekosystemu oprogramowania. Obecnie jedną z kluczowych zalet procesorów graficznych Nvidia jest system oprogramowania CUDA, który zgromadził wysoką wydajność i kompatybilność przez ponad dekadę. W samodzielnie opracowanym chipie OpenAI system kompilatora musi również osiągnąć wysoką wydajność, taką jak CUDA, aby w pełni wykorzystać moc obliczeniową chipa. W przeciwieństwie do innych firm technologicznych, które opracowują chipy do usług w chmurze, chipy OpenAI są przeznaczone przede wszystkim do użytku wewnętrznego, więc mniej uwagi poświęca się obsłudze ekosystemu i modelu użytkownika. Jednak wydajność kompilatora musi być zbliżona do wydajności CUDA firmy Nvidia. Tak naprawdę OpenAI inwestowało w tym obszarze już wcześniej. W lipcu tego roku OpenAI ogłosiło rozwiązanie do kompilacji modeli AI oparte na języku Triton o otwartym kodzie źródłowym. Kompiluje kod Pythona do reprezentacji pośredniej (IR) przy użyciu kompilatora Triton i kompilatora LLVM, który można następnie skompilować do kodu PTX i uruchomić bezpośrednio na procesorach graficznych i akceleratorach AI obsługujących PTX. Z tej perspektywy inwestycja OpenAI w kompilatory może służyć jako prekursor dla samodzielnie opracowanych chipów.

Wreszcie wyzwaniem będzie również konkretna produkcja chipa. Jak wspomniano wcześniej, OpenAI prawdopodobnie będzie wykorzystywać zaawansowane węzły procesowe i zaawansowane technologie pakowania. Dlatego zapewnienie wysokiego uzysku w trakcie produkcji, a co ważniejsze, uzyskanie wystarczających mocy produkcyjnych do produkcji masowej w ramach potencjalnie ograniczonej podaży zaawansowanych opakowań i węzłów technologicznych w nadchodzących latach będzie problemem wymagającym rozwiązania.

Biorąc pod uwagę te trzy wyzwania, wierzymy, że samodzielnie opracowany plan chipów OpenAI może obejmować wiele etapów. Po pierwsze, zanim całkowicie rozwiążą się problemy techniczne i produkcyjne, OpenAI może zdecydować się na współpracę z Microsoftem (jego największym akcjonariuszem, który ma również własny plan chipów o nazwie Athena) i Nvidią (lub AMD). Mogą zdecydować się na częściowo spersonalizowane chipy, w przypadku których OpenAI zapewnia określone specyfikacje, a nawet własność intelektualną (IP), którą chip musi obsługiwać, podczas gdy partnerzy współpracujący zajmują się projektowaniem i produkcją chipów. Po rozwiązaniu problemów technicznych i produkcyjnych OpenAI może zdecydować się na znaczne inwestycje w w pełni spersonalizowane chipy, osiągając optymalną wydajność i sterowalność.