Niedawno agencja Reuters podała, że ​​OpenAI rozważa samodzielne opracowanie chipów. Z raportu wynika, że ​​od zeszłego roku OpenAI aktywnie poszukuje rozwiązań problemu niedoborów chipów szkoleniowych dla modeli sztucznej inteligencji (w szczególności niedoborów procesorów graficznych Nvidia). Obecnie OpenAI aktywnie przygotowuje się do samodzielnie opracowanych chipów, aby sprostać przyszłemu zapotrzebowaniu na chipy AI. W rzeczywistości nie tak dawno temu dyrektor generalny OpenAI Sam Altman publicznie przyznał, że niedobory procesorów graficznych Nvidia mają znaczący wpływ na OpenAI i całą branżę sztucznej inteligencji. Ponadto od tego roku OpenAI rekrutuje talenty w dziedzinach związanych ze sprzętem, a na ich oficjalnej stronie internetowej można znaleźć kilka stanowisk związanych ze wspólnym projektowaniem oprogramowania i sprzętu. Co więcej, we wrześniu tego roku OpenAI pozyskało także Andrew Tullocha, znanego eksperta w dziedzinie kompilatorów AI, dodatkowo wskazując na inwestycję w samodzielnie opracowane chipy. Przedstawiciele OpenAI odmówili komentarza w tej sprawie, ale jeśli dojdzie do skutku, OpenAI dołączy do grona gigantów technologicznych z Doliny Krzemowej, takich jak Google, Amazon, Microsoft i Tesla, w opracowywaniu własnych chipów.

Dlaczego OpenAI chce opracować własne chipy?

Jak wspomniano wcześniej, głównym powodem rozwoju własnych chipów przez OpenAI jest niedobór procesorów graficznych. Mówiąc dokładniej, ceny zarówno zakupu procesorów graficznych Nvidia, jak i korzystania z usług chmurowych opartych na procesorach graficznych są zbyt wysokie, szczególnie biorąc pod uwagę wykładniczy wzrost mocy obliczeniowej wymaganej do przyszłego szkolenia modelowego OpenAI.

OpenAI od kilku lat strategicznie inwestuje w generatywną sztuczną inteligencję. Wraz z wypuszczeniem GPT-3 w zeszłym roku i ChatGPT w drugiej połowie roku, możliwości tych wielkoskalowych generatywnych modeli językowych znacznie się poprawiły w ciągu ostatnich kilku lat, osiągając etap, w którym mogą one angażować się w znaczące rozmowy z ludźmi . W rezultacie OpenAI wyłoniło się na lidera w dziedzinie sztucznej inteligencji, a generatywna sztuczna inteligencja stała się jedną z technologii, które mają największy wpływ na społeczeństwo w nadchodzących latach. Według Reutersa OpenAI odnotowało w ubiegłym roku przychody w wysokości 28 mln dolarów, ale poniosło ogólną stratę w wysokości 540 mln dolarów, głównie z powodu wydatków związanych z mocą obliczeniową. Warto zauważyć, że ta ogromna strata w wysokości 540 milionów dolarów miała miejsce w 2022 roku, tuż przed gwałtownym wzrostem generatywnej sztucznej inteligencji.

W przyszłości oczekuje się, że wydatki związane z mocą obliczeniową będą rosły wykładniczo. Dzieje się tak przede wszystkim z powodu:

• Konkurencja w modelach wielkoskalowych staje się coraz bardziej zacięta, a tempo ewolucji modeli staje się coraz szybsze, co wymaga gwałtownie rosnącej mocy obliczeniowej. Oprócz OpenAI giganci technologiczni, tacy jak Google, forsują także własne modele wielkoskalowe, co znacznie przyspieszyło tempo ewolucji modeli. Oczekuje się, że nowa generacja modeli będzie wymagała aktualizacji co kwartał do pół roku, a szacuje się, że moc obliczeniowa wymagana w przypadku najnowocześniejszych modeli będzie co roku zwiększać się o rząd wielkości.

• Modele wielkoskalowe są stosowane w szerszej gamie scenariuszy. Obecnie Microsoft i Google zaczęły już wykorzystywać wielkoskalowe modele w obszarach wyszukiwania i pisania kodu. Oczekuje się, że w przyszłości pojawi się więcej zastosowań dla modeli wielkoskalowych, w tym automatyczne przetwarzanie zadań, wielomodalne pytania i odpowiedzi itp. Znacząco zwiększy to liczbę różnych modeli, a także znacznie zwiększy całkowitą moc obliczeniową wymaganą do wdrożenia modelu .

Według analiz amerykańskiej firmy finansowej Bernstein, gdyby ruch ChatGPT osiągnął jedną dziesiątą wyszukiwania Google (co jest jednocześnie jednym z ważnych celów OpenAI na przyszłość), roczne wydatki na GPU OpenAI wyniosłyby 16 miliardów dolarów. Takie wydatki mogą potencjalnie stać się znaczącym wąskim gardłem w dalszym skalowaniu OpenAI.

Ile zatem kosztów może zaoszczędzić OpenAI, jeśli opracuje własne chipy? Obecnie koszt zakupu serwera z ośmioma procesorami graficznymi Nvidia H100 to około 300,000 1 dolarów, a całkowity koszt użytkowania tego serwera przez trzy lata, wliczając premię od dostawców usług chmurowych, to około 100,000 milion dolarów (jest to oficjalna cena podana przez AWS , przy czym oczekuje się, że ceny innych dostawców usług w chmurze będą kształtować się na tym samym poziomie). Jeśli OpenAI może obniżyć koszt takiego serwera z ośmioma procesorami graficznymi do poniżej 10,000 100,000 dolarów za pomocą samodzielnie opracowanych chipów, znacznie obniżyłoby to ich wydatki. Z drugiej strony, jeśli samodzielnie opracowane chipy odniosą sukces, bardzo obiecujące będzie ograniczenie kosztu pojedynczej karty akceleracyjnej do poziomu poniżej XNUMX XNUMX dolarów w przypadku wdrożenia na dużą skalę. Innymi słowy, kontrolowanie kosztów serwera z ośmioma procesorami graficznymi poniżej XNUMX XNUMX USD nie jest celem nieosiągalnym.

Ciąg dalszy nastąpi...