Recentemente, Reuters ha riferito che OpenAI sta prendendo in considerazione chip sviluppati internamente. Secondo il rapporto, dallo scorso anno OpenAI è attivamente alla ricerca di soluzioni alla carenza di chip di addestramento per modelli di intelligenza artificiale (in particolare, alla scarsità di GPU Nvidia). Attualmente, OpenAI si sta preparando attivamente per chip sviluppati internamente per soddisfare le future richieste di chip AI. Infatti, non molto tempo fa, il CEO di OpenAI Sam Altman ha riconosciuto pubblicamente l'impatto significativo della carenza di GPU Nvidia su OpenAI e sull'intero settore dell'intelligenza artificiale. Inoltre, a partire da quest'anno, OpenAI recluta talenti nei settori legati all'hardware, con diverse posizioni relative alla co-progettazione software-hardware pubblicizzate sul loro sito ufficiale. Inoltre, nel settembre di quest'anno, OpenAI ha anche reclutato Andrew Tulloch, un rinomato esperto nel campo dei compilatori AI, indicando ulteriormente il suo investimento in chip sviluppati internamente. I funzionari di OpenAI hanno rifiutato di commentare la questione, ma se si concretizzerà, OpenAI si unirà ai ranghi dei giganti della tecnologia della Silicon Valley come Google, Amazon, Microsoft e Tesla nello sviluppo dei propri chip.

Perché OpenAI vuole sviluppare i propri chip?

Come accennato in precedenza, il motivo principale dietro lo sviluppo dei propri chip da parte di OpenAI è dovuto alla carenza di GPU. Più specificamente, i prezzi sia per l'acquisto delle GPU Nvidia che per l'utilizzo dei servizi cloud basati su GPU sono troppo alti, soprattutto considerando l'aumento esponenziale della potenza di calcolo richiesta per il futuro addestramento del modello di OpenAI.

OpenAI investe strategicamente da diversi anni nell’intelligenza artificiale generativa. Con il rilascio di GPT-3 lo scorso anno e di ChatGPT nella seconda metà dell'anno, le capacità di questi modelli linguistici generativi su larga scala sono migliorate in modo significativo negli ultimi anni, raggiungendo uno stadio in cui possono impegnarsi in conversazioni significative con gli esseri umani. . Di conseguenza, OpenAI è emersa come leader nel campo dell’intelligenza artificiale e l’intelligenza artificiale generativa è diventata una delle tecnologie di maggior impatto che si prevede modelleranno la società umana nei prossimi anni. Secondo Reuters, OpenAI ha registrato un fatturato di 28 milioni di dollari lo scorso anno, ma ha subito una perdita complessiva di 540 milioni di dollari, principalmente a causa delle spese relative alla potenza di calcolo. Vale la pena notare che questa massiccia perdita di 540 milioni di dollari si è verificata nel 2022, poco prima dell’impennata dell’intelligenza artificiale generativa.

Guardando al futuro, si prevede che le spese relative alla potenza di calcolo aumenteranno in modo esponenziale. Ciò è dovuto principalmente a:

• La concorrenza nei modelli su larga scala sta diventando sempre più intensa e la velocità di evoluzione dei modelli sta diventando sempre più rapida, richiedendo una potenza di calcolo in rapido aumento. Oltre a OpenAI, anche i giganti della tecnologia come Google stanno spingendo i propri modelli su larga scala, il che ha accelerato significativamente il ritmo dell’evoluzione dei modelli. Si prevede che una nuova generazione di modelli dovrà essere aggiornata ogni trimestre o semestre e si stima che la potenza di calcolo richiesta per i modelli più all’avanguardia aumenterà di un ordine di grandezza ogni anno.

• I modelli su larga scala vengono applicati in una gamma più ampia di scenari. Attualmente Microsoft e Google hanno già iniziato a utilizzare modelli su larga scala nei campi della ricerca e della scrittura di codici. Si prevede che in futuro ci saranno più applicazioni per modelli su larga scala, tra cui l'elaborazione automatica delle attività, domande e risposte multimodali, ecc. Ciò aumenterà notevolmente il numero di modelli diversi e aumenterà anche in modo significativo la potenza di calcolo totale richiesta per l'implementazione del modello .

Secondo l'analisi della società finanziaria americana Bernstein, se il traffico di ChatGPT raggiungesse un decimo della ricerca di Google (che è anche uno degli obiettivi importanti di OpenAI per il futuro), le spese annuali per la GPU di OpenAI ammonterebbero a 16 miliardi di dollari. Tali spese potrebbero potenzialmente diventare un collo di bottiglia significativo per l’ulteriore ridimensionamento di OpenAI.

Quindi, quanti costi può risparmiare OpenAI se sviluppa i propri chip? Attualmente, il costo di acquisto di un server con otto GPU Nvidia H100 è di circa 300,000 dollari, e il costo totale di utilizzo di questo server per tre anni, incluso il premio dei fornitori di servizi cloud, è di circa 1 milione di dollari (questo è il prezzo ufficiale indicato da AWS , con i prezzi di altri fornitori di servizi cloud che dovrebbero essere nella stessa fascia). Se OpenAI riuscisse a ridurre il costo di un server da otto GPU a meno di $ 100,000 con i propri chip sviluppati internamente, ridurrebbe significativamente le spese. D’altro canto, se i chip sviluppati internamente avranno successo, è molto promettente contenere il costo di una singola carta acceleratore al di sotto dei 10,000 dollari in caso di implementazione su larga scala. In altre parole, contenere il costo di un server da otto GPU al di sotto dei 100,000 dollari non è un obiettivo irraggiungibile.

Continua...