¿Cuáles son las características únicas de los chips de desarrollo propio de OpenAI?

Actualmente, son muchas las empresas tecnológicas que han desarrollado sus propios chips. Entonces, ¿qué diferencia a los chips de desarrollo propio de OpenAI de los chips de desarrollo propio de empresas como Google y Amazon?

En primer lugar, los chips de desarrollo propio de OpenAI son puramente para fines de capacitación de modelos propios, lo cual es diferente de los modelos comerciales de compañías como Google y Amazon que se enfocan en proporcionar chips de desarrollo propio para que los clientes los utilicen en servidores en la nube. Para empresas como Google y Amazon, que proporcionan chips de desarrollo propio para clientes de servicios en la nube, los escenarios de uso de los modelos no están claros, la pila de software utilizada es incierta y los modelos específicos que se entrenan también son inciertos. Por lo tanto, sus diseños de chips deben cumplir con requisitos de compatibilidad, sacrificando a menudo la eficiencia y el rendimiento de cada tarea de entrenamiento. Por otro lado, los chips de desarrollo propio de OpenAI son sólo para uso propio y los modelos que se entrenan son muy específicos: grandes modelos de lenguaje basados ​​en Transformers. OpenAI también tiene control total sobre la pila de software utilizada, lo que garantiza un diseño altamente específico.

La segunda diferencia radica en la profunda comprensión de los modelos por parte de OpenAI. OpenAI es una empresa líder en el campo de los modelos generativos y, actualmente, los modelos de la serie GPT siguen siendo los modelos generativos de mejor rendimiento. OpenAI ha acumulado años de experiencia en la investigación de modelos generativos, lo que significa que tiene un conocimiento profundo de diversas soluciones de diseño para modelos generativos. Esto implica que OpenAI tiene la capacidad y el conocimiento para realizar codiseño de modelos de chips, diseñando modelos de acuerdo con las características de los chips y especificando las métricas de diseño de los chips en función de los requisitos de los modelos. Esto incluye optimizar las compensaciones entre unidades computacionales, almacenamiento e interconexiones de chips. Además, OpenAI tiene la hoja de ruta más explícita para futuros modelos generativos grandes en la industria, lo que significa que incluso si los chips de desarrollo propio tardan varios años en estar listos, no hay necesidad de preocuparse de que los chips queden obsoletos una vez que estén en funcionamiento. producción en masa. Desde esta perspectiva, los chips de desarrollo propio de OpenAI son bastante diferentes de los de Google y Amazon, pero comparten algunas similitudes con la serie Dojo de Tesla de chips de entrenamiento de modelos de desarrollo propio. Sin embargo, lo que distingue a OpenAI es que su demanda de entrenamiento de modelos es evidentemente mucho mayor que la de Tesla, lo que hace que la importancia de los chips de desarrollo propio sea aún mayor para OpenAI.

Estas características únicas de OpenAI le brindan la oportunidad de lograr chips de alto rendimiento diseñados específicamente para fines no convencionales. Recientemente, Nvidia analizó el patrón de mejora del rendimiento de sus GPU en una publicación de blog oficial. La potencia informática de la GPU de Nvidia se ha multiplicado por 1000 en menos de una década. Según el análisis, dentro de este aumento de 1000 veces en la potencia informática, la optimización de la precisión computacional (como el uso de números de punto flotante de 16 bits o incluso de 8 bits en lugar del cálculo original de punto flotante de 32 bits) combinado con sistemas dedicados Los módulos informáticos lograron una mejora de rendimiento 16 veces mayor. Además, la optimización colaborativa entre la arquitectura del chip y los compiladores proporcionó una mejora del rendimiento de 12.5 veces. Por otro lado, la mejora del rendimiento aportada por la tecnología de semiconductores fue sólo doble. Por lo tanto, se puede ver que en el campo de los chips informáticos de alto rendimiento, el codiseño de algoritmos y arquitecturas de chips (incluidos los algoritmos modelo y los algoritmos compiladores) son las principales fuerzas impulsoras para mejorar el rendimiento (también conocida como Ley de Huang). Desde esta perspectiva, OpenAI se encuentra efectivamente en una posición muy ventajosa. Con su profundo conocimiento de los algoritmos, se espera que OpenAI aproveche al máximo la Ley de Huang y logre diseños de chips informáticos de alto rendimiento en los próximos años.

Los desafíos de los chips de desarrollo propio de OpenAI

Además de sus ventajas, existen desafíos para los chips de desarrollo propio de OpenAI.

El principal desafío de los chips de alto rendimiento, diseñados para modelos grandes, reside en su complejidad. Desde la perspectiva del diseño del chip, es necesario considerar cuidadosamente las unidades computacionales, el acceso a la memoria y la interconectividad dentro del chip informático de alto rendimiento. Por ejemplo, para cumplir con los requisitos de modelos grandes, es muy probable que el chip utilice HBM (memoria de alto ancho de banda). Para lograr una alta eficiencia energética y escalabilidad, se espera que se empleen tecnologías de proceso avanzadas y técnicas de apilamiento de chips para lograr un alto rendimiento. La computación distribuida se utiliza a menudo para modelos grandes, lo que hace que la interconectividad entre chips sea crucial (al igual que las tecnologías NVLINK e InfiniBand de Nvidia para GPU, OpenAI también requeriría tecnologías similares). Cada uno de estos componentes de diseño de chips requiere un equipo experimentado para implementarlos, e integrarlos exige un excelente diseño arquitectónico para garantizar el rendimiento general. Crear un equipo experimentado en un corto período de tiempo para abordar estos diseños desafiantes será un desafío importante para OpenAI.

Además del diseño de chips, otro desafío importante para OpenAI es garantizar la sinergia entre software y hardware o, en otras palabras, diseñar un compilador de alto rendimiento y un ecosistema de software relacionado. Actualmente, una ventaja clave de las GPU de Nvidia es su sistema de software CUDA, que ha acumulado alto rendimiento y compatibilidad durante más de una década. En el chip de desarrollo propio de OpenAI, el sistema compilador también necesita alcanzar un alto rendimiento como CUDA para utilizar plenamente la potencia informática del chip. A diferencia de otras empresas de tecnología que desarrollan chips para servicios en la nube, los chips de OpenAI son principalmente para uso interno, por lo que hay menos preocupación por el ecosistema y el soporte del modelo de usuario. Sin embargo, el rendimiento del compilador debe acercarse al del CUDA de Nvidia. De hecho, OpenAI ya ha realizado inversiones en este campo anteriormente. En julio de este año, OpenAI anunció su solución de compilación de modelos de IA basada en el lenguaje de código abierto Triton. Compila código Python en representación intermedia (IR) utilizando el compilador Triton y el compilador LLVM, que luego se pueden compilar en código PTX y ejecutar directamente en GPU y aceleradores de IA que admitan PTX. Desde esta perspectiva, la inversión de OpenAI en compiladores puede servir como precursora de sus chips de desarrollo propio.

Por último, la producción específica del chip también planteará un desafío. Como se mencionó anteriormente, es probable que OpenAI utilice nodos de proceso avanzados y tecnologías de empaquetado avanzadas. Por lo tanto, garantizar un alto rendimiento durante la producción y, lo que es más importante, obtener suficiente capacidad de producción para producir en masa dentro de la oferta potencialmente escasa de nodos de procesamiento y embalaje avanzados en los próximos años será un problema que deberá abordarse.

Teniendo en cuenta estos tres desafíos, creemos que el plan de chips de desarrollo propio de OpenAI puede implicar varios pasos. En primer lugar, antes de que los problemas técnicos y de producción se resuelvan por completo, OpenAI puede optar por colaborar con Microsoft (su mayor accionista, que también tiene su propio plan de chips llamado Athena) y Nvidia (o AMD). Pueden optar por chips semipersonalizados, donde OpenAI proporciona ciertas especificaciones e incluso cierta propiedad intelectual (IP) que el chip debe soportar, mientras que los socios colaborativos se encargan del diseño y la producción del chip. Una vez que se resuelvan los problemas técnicos y de producción, OpenAI puede optar por invertir mucho en chips totalmente personalizados, logrando un rendimiento y controlabilidad óptimos.