Каковы уникальные особенности чипов собственной разработки OpenAI?

В настоящее время существует множество технологических компаний, которые разработали собственные чипы. Итак, что отличает чипы собственной разработки OpenAI от чипов собственной разработки таких компаний, как Google и Amazon?

Во-первых, чипы собственной разработки OpenAI предназначены исключительно для целей обучения моделей, что отличается от коммерческих моделей таких компаний, как Google и Amazon, которые ориентированы на предоставление чипов собственной разработки для использования клиентами на облачных серверах. Для таких компаний, как Google и Amazon, которые предоставляют чипы собственной разработки для клиентов облачных сервисов, сценарии использования моделей неясны, используемый стек программного обеспечения неизвестен, а также неопределенны конкретные обучаемые модели. Поэтому их конструкции чипов должны соответствовать требованиям совместимости, часто жертвуя эффективностью и производительностью для каждой задачи обучения. С другой стороны, чипы собственной разработки OpenAI предназначены только для собственного использования, а обучаемые модели очень специфичны: большие языковые модели, основанные на Трансформерах. OpenAI также имеет полный контроль над используемым программным стеком, обеспечивая точное проектирование.

Второе отличие заключается в глубоком понимании моделей OpenAI. OpenAI — ведущая компания в области генеративных моделей, и в настоящее время модели серии GPT по-прежнему являются наиболее эффективными генеративными моделями. OpenAI накопила многолетний опыт исследования генеративных моделей, а это означает, что у них есть глубокое понимание различных проектных решений для генеративных моделей. Это означает, что OpenAI обладает возможностями и знаниями для совместного проектирования моделей чипов, проектирования моделей в соответствии с характеристиками чипов и определения показателей проектирования чипов на основе требований моделей. Это включает в себя оптимизацию компромиссов между вычислительными блоками, хранилищем и соединениями микросхем. Более того, у OpenAI есть наиболее четкая дорожная карта для будущих генеративных больших моделей в отрасли, а это означает, что даже если на подготовку самостоятельно разработанных чипов уйдет несколько лет, нет необходимости беспокоиться о том, что чипы устареют, как только они появятся в продаже. массовое производство. С этой точки зрения чипы собственной разработки OpenAI сильно отличаются от чипов Google и Amazon, но они имеют некоторое сходство с серией чипов для обучения моделей Dojo собственной разработки Tesla. Однако что отличает OpenAI, так это то, что их потребность в обучении моделей, очевидно, намного выше, чем у Tesla, что делает важность самостоятельно разработанных чипов для OpenAI еще большей.

Эти уникальные особенности OpenAI дают возможность создавать высокопроизводительные чипы, разработанные специально для нетрадиционных целей. Недавно Nvidia проанализировала динамику повышения производительности своих графических процессоров в официальном сообщении в блоге. Вычислительная мощность графического процессора Nvidia выросла в 1000 раз менее чем за десять лет. Согласно анализу, в рамках этого 1000-кратного увеличения вычислительной мощности оптимизация точности вычислений (например, использование 16-битных или даже 8-битных чисел с плавающей запятой вместо исходных 32-битных вычислений с плавающей запятой) в сочетании со специальными вычислительные модули достигли 16-кратного улучшения производительности. Кроме того, совместная оптимизация архитектуры чипа и компиляторов обеспечила повышение производительности в 12.5 раз. С другой стороны, улучшение производительности, обеспечиваемое полупроводниковой технологией, было лишь двукратным. Таким образом, можно видеть, что в области высокопроизводительных вычислительных микросхем совместная разработка алгоритмов и архитектуры микросхем (включая модельные алгоритмы и алгоритмы компилятора) является основной движущей силой повышения производительности (также известной как закон Хуана). С этой точки зрения OpenAI действительно находится в очень выигрышном положении. Ожидается, что благодаря глубокому пониманию алгоритмов OpenAI в ближайшие несколько лет полностью использует закон Хуанга и создаст высокопроизводительные вычислительные чипы.

Проблемы чипов собственной разработки OpenAI

Помимо преимуществ, у чипов собственной разработки OpenAI действительно есть проблемы.

Основная проблема высокопроизводительных чипов, предназначенных для больших моделей, заключается в их сложности. С точки зрения конструкции чипа необходимо тщательное внимание уделять вычислительным блокам, доступу к памяти и взаимодействию внутри высокопроизводительного вычислительного чипа. Например, для удовлетворения требований больших моделей весьма вероятно, что чип будет использовать HBM (High Bandwidth Memory). Ожидается, что для достижения высокой энергоэффективности и масштабируемости будут использоваться передовые технологические процессы и методы укладки кристаллов для достижения высокой производительности. Распределенные вычисления часто используются для больших моделей, что делает взаимосвязь между чипами критически важной (аналогично технологиям Nvidia NVLINK и InfiniBand для графических процессоров, OpenAI также потребует аналогичных технологий). Для реализации каждого из этих компонентов конструкции микросхемы требуется опытная команда, а их интеграция требует отличного архитектурного проектирования для обеспечения общей производительности. Создание опытной команды в течение короткого периода времени для решения этих сложных задач станет важной задачей для OpenAI.

Помимо проектирования чипов, еще одной важной задачей для OpenAI является обеспечение синергии между программным и аппаратным обеспечением, или, другими словами, разработка высокопроизводительного компилятора и соответствующей программной экосистемы. В настоящее время одним из ключевых преимуществ графических процессоров Nvidia является их программная система CUDA, которая за более чем десятилетие накопила высокую производительность и совместимость. В чипе собственной разработки OpenAI система компилятора также должна достичь высокой производительности, такой как CUDA, чтобы полностью использовать вычислительную мощность чипа. В отличие от других технологических компаний, разрабатывающих чипы для облачных сервисов, чипы OpenAI предназначены в первую очередь для внутреннего использования, поэтому меньше беспокойства по поводу поддержки экосистемы и пользовательских моделей. Однако производительность компилятора должна приближаться к производительности CUDA от Nvidia. Фактически, OpenAI уже инвестировала в эту область ранее. В июле этого года OpenAI анонсировала свое решение для компиляции моделей искусственного интеллекта, основанное на языке Triton с открытым исходным кодом. Он компилирует код Python в промежуточное представление (IR) с помощью компилятора Triton и компилятора LLVM, который затем можно скомпилировать в код PTX и запустить непосредственно на графических процессорах и ускорителях искусственного интеллекта, поддерживающих PTX. С этой точки зрения инвестиции OpenAI в компиляторы могут послужить предшественником собственных чипов.

Наконец, проблематичным будет и конкретное производство чипа. Как упоминалось ранее, OpenAI, вероятно, будет использовать передовые узлы процессов и передовые технологии упаковки. Поэтому обеспечение высокой производительности при производстве и, что более важно, получение достаточных производственных мощностей для массового производства в условиях потенциально ограниченного предложения передовых упаковочных и технологических узлов в ближайшие годы станет проблемой, которую необходимо решить.

Учитывая эти три проблемы, мы считаем, что план чипов, разработанный OpenAI, может включать несколько этапов. Во-первых, до того, как технические и производственные проблемы будут полностью решены, OpenAI может выбрать сотрудничество с Microsoft (его крупнейшим акционером, у которого также есть собственный чип-план под названием Athena) и Nvidia (или AMD). Они могут выбрать полуиндивидуализированные чипы, где OpenAI предоставляет определенные спецификации и даже некоторую интеллектуальную собственность (IP), которую чип должен поддерживать, в то время как партнеры по сотрудничеству занимаются разработкой и производством чипов. Как только технические и производственные проблемы будут решены, OpenAI сможет инвестировать значительные средства в полностью кастомизированные чипы, обеспечивающие оптимальную производительность и управляемость.