Недавно агентство Reuters сообщило, что OpenAI рассматривает возможность разработки чипов собственной разработки. Согласно отчету, с прошлого года OpenAI активно ищет решение проблемы нехватки обучающих чипов для моделей искусственного интеллекта (в частности, нехватки графических процессоров Nvidia). В настоящее время OpenAI активно готовится к созданию собственных чипов для удовлетворения будущих потребностей в чипах искусственного интеллекта. Фактически, не так давно генеральный директор OpenAI Сэм Альтман публично признал значительное влияние нехватки графических процессоров Nvidia на OpenAI и всю индустрию искусственного интеллекта. Кроме того, начиная с этого года OpenAI набирает таланты в областях, связанных с аппаратным обеспечением, и на их официальном сайте объявлено несколько вакансий, связанных с совместным проектированием программного и аппаратного обеспечения. Более того, в сентябре этого года OpenAI также наняла Эндрю Таллоха, известного эксперта в области компиляторов ИИ, что еще раз подтвердило их инвестиции в чипы собственной разработки. Представители OpenAI отказались комментировать этот вопрос, но если он будет реализован, OpenAI присоединится к рядам технологических гигантов Кремниевой долины, таких как Google, Amazon, Microsoft и Tesla, в разработке собственных чипов.

Почему OpenAI хочет разрабатывать собственные чипы?

Как упоминалось ранее, основная причина разработки OpenAI собственных чипов связана с нехваткой графических процессоров. В частности, цены как на покупку графических процессоров Nvidia, так и на использование облачных сервисов на базе графических процессоров слишком высоки, особенно с учетом экспоненциального увеличения вычислительной мощности, необходимой для будущего обучения моделей OpenAI.

OpenAI уже несколько лет стратегически инвестирует в генеративный искусственный интеллект. С выпуском GPT-3 в прошлом году и ChatGPT во второй половине года возможности этих крупномасштабных генеративных языковых моделей значительно улучшились за последние несколько лет, достигнув стадии, когда они могут участвовать в содержательных разговорах с людьми. . В результате OpenAI стала лидером в области искусственного интеллекта, а генеративный ИИ стал одной из наиболее влиятельных технологий, которые, как ожидается, будут формировать человеческое общество в ближайшие годы. По данным Reuters, в прошлом году OpenAI зафиксировала выручку в $28 млн, но понесла общий убыток в $540 млн, в первую очередь из-за расходов, связанных с вычислительными мощностями. Стоит отметить, что эта огромная потеря в 540 миллионов долларов произошла в 2022 году, как раз перед всплеском генеративного искусственного интеллекта.

В будущем ожидается, что расходы, связанные с вычислительными мощностями, будут расти в геометрической прогрессии. Это связано прежде всего с:

• Конкуренция в крупномасштабных моделях становится все более интенсивной, а скорость эволюции моделей увеличивается, что требует быстрого увеличения вычислительной мощности. Помимо OpenAI, технологические гиганты, такие как Google, также продвигают свои собственные крупномасштабные модели, что значительно ускорило темпы эволюции моделей. Ожидается, что новое поколение моделей будет нуждаться в обновлении каждый квартал-полгода, а вычислительная мощность, необходимая для самых передовых моделей, по оценкам, будет увеличиваться на порядок каждый год.

• Крупномасштабные модели применяются в более широком диапазоне сценариев. В настоящее время Microsoft и Google уже начали использовать масштабные модели в области поиска и написания кода. Ожидается, что в будущем появится больше приложений для крупномасштабных моделей, включая автоматическую обработку задач, мультимодальные вопросы и ответы и т. д. Это значительно увеличит количество различных моделей, а также значительно увеличит общую вычислительную мощность, необходимую для развертывания моделей. .

Согласно анализу американской финансовой компании Bernstein, если трафик ChatGPT достигнет одной десятой объема поиска Google (что также является одной из важных целей OpenAI в будущем), ежегодные расходы OpenAI на графические процессоры составят 16 миллиардов долларов. Такие расходы потенциально могут стать серьезным препятствием для дальнейшего масштабирования OpenAI.

Итак, сколько средств OpenAI сможет сэкономить, если разработает свои собственные чипы? В настоящее время стоимость приобретения сервера с восемью графическими процессорами Nvidia H100 составляет примерно 300,000 1 долларов США, а общая стоимость использования этого сервера в течение трех лет, включая премию от поставщиков облачных услуг, составляет около 100,000 миллиона долларов США (это официальная цена, указанная AWS). , при этом ожидается, что цены у других поставщиков облачных услуг будут в том же диапазоне). Если OpenAI сможет снизить стоимость такого сервера с восемью графическими процессорами до уровня ниже 10,000 100,000 долларов с помощью своих чипов собственной разработки, это значительно снизит их расходы. С другой стороны, если чипы собственной разработки окажутся успешными, весьма перспективно контролировать стоимость одной карты-ускорителя на уровне ниже XNUMX XNUMX долларов США в случае крупномасштабного внедрения. Другими словами, сдерживание стоимости сервера с восемью графическими процессорами ниже XNUMX XNUMX долларов США не является недостижимой целью.

Продолжение следует...