Quali sono le caratteristiche uniche dei chip sviluppati internamente da OpenAI?

Attualmente sono molte le aziende tecnologiche che hanno sviluppato i propri chip. Quindi, cosa rende i chip autosviluppati di OpenAI diversi dai chip autosviluppati di aziende come Google e Amazon?

In primo luogo, i chip autosviluppati di OpenAI sono puramente per scopi di formazione del modello, che è diverso dai modelli commerciali di aziende come Google e Amazon che si concentrano sulla fornitura di chip autosviluppati da utilizzare sui server cloud da parte dei clienti. Per aziende come Google e Amazon, che forniscono chip sviluppati autonomamente per i clienti dei servizi cloud, gli scenari di utilizzo dei modelli non sono chiari, lo stack software utilizzato è incerto e anche i modelli specifici addestrati sono incerti. Pertanto, la progettazione dei chip deve soddisfare i requisiti di compatibilità, spesso sacrificando efficienza e prestazioni per ogni attività di formazione. D'altra parte, i chip sviluppati internamente da OpenAI sono solo per uso personale e i modelli addestrati sono molto specifici: modelli linguistici di grandi dimensioni basati su Transformers. OpenAI ha inoltre il pieno controllo sullo stack software utilizzato, garantendo una progettazione altamente mirata.

La seconda differenza risiede nella profonda comprensione dei modelli da parte di OpenAI. OpenAI è un'azienda leader nel campo dei modelli generativi e attualmente i modelli della serie GPT sono ancora i modelli generativi più performanti. OpenAI ha accumulato anni di esperienza nella ricerca di modelli generativi, il che significa che ha una profonda conoscenza di varie soluzioni di progettazione per modelli generativi. Ciò implica che OpenAI abbia la capacità e la conoscenza per eseguire la co-progettazione di modelli di chip, progettando modelli in base alle caratteristiche dei chip e specificando le metriche di progettazione dei chip in base ai requisiti dei modelli. Ciò include l’ottimizzazione dei compromessi tra unità computazionali, storage e interconnessioni dei chip. Inoltre, OpenAI ha la tabella di marcia più esplicita per i futuri modelli generativi di grandi dimensioni nel settore, il che significa che anche se ci vogliono diversi anni prima che i chip auto-sviluppati siano pronti, non c'è bisogno di preoccuparsi che i chip diventino obsoleti una volta che sono in produzione. produzione di massa. Da questo punto di vista, i chip autosviluppati di OpenAI sono abbastanza diversi da quelli di Google e Amazon, ma condividono alcune somiglianze con la serie Dojo di Tesla di chip di addestramento modello autosviluppati. Tuttavia, ciò che distingue OpenAI è che la loro richiesta di addestramento dei modelli è evidentemente molto più elevata di quella di Tesla, rendendo l’importanza dei chip autosviluppati ancora maggiore per OpenAI.

Queste caratteristiche uniche di OpenAI gli danno l'opportunità di realizzare chip ad alte prestazioni progettati specificamente per scopi non convenzionali. Recentemente, Nvidia ha analizzato il modello di miglioramento delle prestazioni delle sue GPU in un post sul blog ufficiale. La potenza di calcolo della GPU di Nvidia è aumentata di 1000 volte in meno di un decennio. Secondo l'analisi, nell'ambito di questo aumento di 1000 volte della potenza di calcolo, l'ottimizzazione della precisione computazionale (come l'utilizzo di numeri in virgola mobile a 16 o addirittura 8 bit invece del calcolo originale in virgola mobile a 32 bit) combinata con soluzioni dedicate i moduli di elaborazione hanno ottenuto un miglioramento delle prestazioni di 16 volte. Inoltre, l'ottimizzazione collaborativa tra l'architettura del chip e i compilatori ha fornito un miglioramento delle prestazioni di 12.5 volte. D'altra parte, il miglioramento delle prestazioni apportato dalla tecnologia dei semiconduttori è stato solo duplice. Pertanto, si può vedere che nel campo dei chip informatici ad alte prestazioni, la co-progettazione di algoritmi e architetture di chip (compresi algoritmi modello e algoritmi compilatori) sono le principali forze trainanti per il miglioramento delle prestazioni (noto anche come Legge di Huang). Da questo punto di vista OpenAI si trova infatti in una posizione molto vantaggiosa. Grazie alla sua profonda conoscenza degli algoritmi, si prevede che OpenAI sfrutterà appieno la legge di Huang e realizzerà progetti di chip informatici ad alte prestazioni nei prossimi anni.

Le sfide dei chip sviluppati internamente da OpenAI

Oltre ai vantaggi, ci sono effettivamente delle sfide per i chip sviluppati internamente da OpenAI.

La sfida principale dei chip ad alte prestazioni, progettati per modelli di grandi dimensioni, risiede nella loro complessità. Dal punto di vista della progettazione del chip, è necessaria un'attenta considerazione delle unità computazionali, dell'accesso alla memoria e dell'interconnettività all'interno del chip informatico ad alte prestazioni. Ad esempio, per soddisfare i requisiti dei modelli di grandi dimensioni, è molto probabile che il chip utilizzi HBM (High Bandwidth Memory). Per ottenere un'elevata efficienza energetica e scalabilità, si prevede l'impiego di tecnologie di processo avanzate e tecniche di impilamento dei chip per un rendimento elevato. Il calcolo distribuito viene spesso utilizzato per modelli di grandi dimensioni, rendendo cruciale l'interconnettività tra i chip (simile alle tecnologie NVLINK e InfiniBand di Nvidia per GPU, anche OpenAI richiederebbe tecnologie simili). Ciascuno di questi componenti di progettazione dei chip richiede l'implementazione di un team esperto e la loro integrazione insieme richiede un'eccellente progettazione dell'architettura per garantire le prestazioni complessive. Costruire un team esperto in un breve periodo di tempo per affrontare questi progetti impegnativi sarà una sfida importante per OpenAI.

Oltre alla progettazione dei chip, un'altra sfida significativa per OpenAI è garantire la sinergia tra software e hardware o, in altre parole, progettare un compilatore ad alte prestazioni e il relativo ecosistema software. Attualmente, un vantaggio chiave delle GPU Nvidia è il sistema software CUDA, che ha accumulato elevate prestazioni e compatibilità in oltre un decennio. Nel chip sviluppato internamente da OpenAI, anche il sistema compilatore deve raggiungere prestazioni elevate come CUDA per sfruttare appieno la potenza di calcolo del chip. A differenza di altre aziende tecnologiche che sviluppano chip per servizi cloud, i chip di OpenAI sono principalmente per uso interno, quindi c’è meno preoccupazione per l’ecosistema e il supporto del modello utente. Tuttavia, le prestazioni del compilatore devono avvicinarsi a quelle del CUDA di Nvidia. In effetti, OpenAI ha già investito in questo campo in precedenza. Nel luglio di quest'anno, OpenAI ha annunciato la sua soluzione di compilazione di modelli AI basata sul linguaggio open source Triton. Compila il codice Python in una rappresentazione intermedia (IR) utilizzando il compilatore Triton e il compilatore LLVM, che può quindi essere compilato nel codice PTX ed eseguito direttamente su GPU e acceleratori AI che supportano PTX. Da questo punto di vista, l’investimento di OpenAI nei compilatori potrebbe fungere da precursore per i suoi chip sviluppati internamente.

Infine, anche la produzione specifica del chip rappresenterà una sfida. Come accennato in precedenza, è probabile che OpenAI utilizzi nodi di processo avanzati e tecnologie di packaging avanzate. Pertanto, garantire un’elevata resa durante la produzione e, cosa ancora più importante, ottenere una capacità produttiva sufficiente per la produzione di massa nell’ambito di un’offerta potenzialmente limitata di imballaggi avanzati e nodi di processo nei prossimi anni sarà un problema che dovrà essere affrontato.

Considerando queste tre sfide, riteniamo che il piano chip autosviluppato di OpenAI possa comportare più passaggi. In primo luogo, prima che i problemi tecnici e di produzione siano completamente risolti, OpenAI può scegliere di collaborare con Microsoft (il suo maggiore azionista, che ha anche un proprio piano chip chiamato Athena) e Nvidia (o AMD). Possono optare per chip semi-personalizzati, in cui OpenAI fornisce determinate specifiche e persino parte della proprietà intellettuale (IP) che il chip deve supportare, mentre i partner collaborativi gestiscono la progettazione e la produzione del chip. Una volta risolti i problemi tecnici e di produzione, OpenAI può scegliere di investire massicciamente in chip completamente personalizzati, ottenendo prestazioni e controllabilità ottimali.