Recientemente, Reuters informó que OpenAI está considerando chips de desarrollo propio. Según el informe, desde el año pasado, OpenAI ha estado buscando activamente soluciones a la escasez de chips de entrenamiento para modelos de inteligencia artificial (específicamente, la escasez de GPU de Nvidia). Actualmente, OpenAI se está preparando activamente para que sus chips de desarrollo propio satisfagan las demandas futuras de chips de IA. De hecho, no hace mucho, el director ejecutivo de OpenAI, Sam Altman, reconoció públicamente el impacto significativo de la escasez de GPU de Nvidia en OpenAI y en toda la industria de la IA. Además, a partir de este año, OpenAI ha estado reclutando talentos en campos relacionados con el hardware, con varios puestos relacionados con el codiseño de software y hardware anunciados en su sitio web oficial. Además, en septiembre de este año, OpenAI también reclutó a Andrew Tulloch, un reconocido experto en el campo de los compiladores de IA, lo que indica además su inversión en chips de desarrollo propio. Los funcionarios de OpenAI se han negado a comentar sobre este asunto, pero si llega a buen término, OpenAI se unirá a las filas de los gigantes tecnológicos de Silicon Valley, como Google, Amazon, Microsoft y Tesla, en el desarrollo de sus propios chips.

¿Por qué OpenAI quiere desarrollar sus propios chips?

Como se mencionó anteriormente, la razón principal detrás del desarrollo de sus propios chips por parte de OpenAI se debe a la escasez de GPU. Más específicamente, los precios tanto de la compra de GPU de Nvidia como del uso de servicios en la nube basados ​​en GPU son demasiado altos, especialmente teniendo en cuenta el aumento exponencial de la potencia informática necesaria para el futuro entrenamiento del modelo de OpenAI.

OpenAI lleva varios años invirtiendo estratégicamente en inteligencia artificial generativa. Con el lanzamiento de GPT-3 el año pasado y ChatGPT en la segunda mitad del año, las capacidades de estos modelos de lenguaje generativo a gran escala han mejorado significativamente en los últimos años, alcanzando una etapa en la que pueden entablar conversaciones significativas con humanos. . Como resultado, OpenAI se ha convertido en líder en el campo de la inteligencia artificial, y la IA generativa se ha convertido en una de las tecnologías de mayor impacto que se espera que den forma a la sociedad humana en los próximos años. Según Reuters, OpenAI registró ingresos de 28 millones de dólares el año pasado, pero incurrió en una pérdida total de 540 millones de dólares, principalmente debido a los gastos relacionados con la potencia informática. Vale la pena señalar que esta enorme pérdida de 540 millones de dólares se produjo en 2022, justo antes del aumento de la inteligencia artificial generativa.

De cara al futuro, se espera que los gastos relacionados con la potencia informática aumenten exponencialmente. Esto se debe principalmente a:

• La competencia en modelos a gran escala es cada vez más intensa y la velocidad de evolución del modelo es cada vez más rápida, lo que requiere una potencia informática cada vez mayor. Además de OpenAI, gigantes tecnológicos como Google también están impulsando sus propios modelos a gran escala, lo que ha acelerado significativamente el ritmo de evolución de los modelos. Se espera que sea necesario actualizar una nueva generación de modelos cada trimestre o medio año, y se estima que la potencia informática necesaria para los modelos más avanzados aumentará en un orden de magnitud cada año.

• Los modelos a gran escala se están aplicando en una gama más amplia de escenarios. Actualmente, Microsoft y Google ya han comenzado a utilizar modelos a gran escala en los campos de la búsqueda y la escritura de códigos. Se espera que en el futuro haya más aplicaciones para modelos a gran escala, incluido el procesamiento automático de tareas, preguntas y respuestas multimodales, etc. Esto aumentará en gran medida el número de modelos diferentes y también aumentará significativamente la potencia informática total necesaria para la implementación del modelo. .

Según un análisis de la empresa financiera estadounidense Bernstein, si el tráfico de ChatGPT alcanza una décima parte de la búsqueda de Google (que es también uno de los objetivos importantes de OpenAI en el futuro), los gastos anuales en GPU de OpenAI ascenderían a 16 mil millones de dólares. Estos gastos podrían convertirse potencialmente en un obstáculo importante para el mayor escalamiento de OpenAI.

Entonces, ¿cuánto coste puede ahorrar OpenAI si desarrolla sus propios chips? Actualmente, el coste de compra de un servidor con ocho GPU Nvidia H100 es de aproximadamente 300,000 dólares, y el coste total de uso de este servidor durante tres años, incluida la prima de los proveedores de servicios en la nube, es de alrededor de 1 millón de dólares (este es el precio oficial cotizado por AWS). , y se espera que los precios de otros proveedores de servicios en la nube estén en el mismo rango). Si OpenAI puede reducir el coste de un servidor de ocho GPU a menos de 100,000 dólares con sus chips de desarrollo propio, reduciría significativamente sus gastos. Por otro lado, si los chips de desarrollo propio tienen éxito, es muy prometedor controlar el coste de una sola tarjeta aceleradora por debajo de los 10,000 dólares en el caso de un despliegue a gran escala. En otras palabras, controlar el coste de un servidor de ocho GPU por debajo de los 100,000 dólares no es un objetivo inalcanzable.

Continuará...