Onlangs meldde Reuters dat OpenAI zelfontwikkelde chips overweegt. Volgens het rapport is OpenAI sinds vorig jaar actief op zoek naar oplossingen voor het tekort aan trainingschips voor kunstmatige-intelligentiemodellen (met name de schaarste aan Nvidia GPU's). Momenteel bereidt OpenAI zich actief voor op zelfontwikkelde chips om aan de toekomstige vraag naar AI-chips te voldoen. Nog niet zo lang geleden erkende Sam Altman, CEO van OpenAI, publiekelijk de aanzienlijke impact van Nvidia GPU-tekorten op OpenAI en de hele AI-industrie. Bovendien heeft OpenAI vanaf dit jaar talenten gerekruteerd op hardwaregerelateerde gebieden, waarbij verschillende functies met betrekking tot software-hardware co-design op hun officiële website worden geadverteerd. Bovendien heeft OpenAI in september van dit jaar ook Andrew Tulloch aangetrokken, een gerenommeerd expert op het gebied van AI-compilers, waarmee hij verder aangaf te investeren in zelfontwikkelde chips. OpenAI-functionarissen hebben geweigerd commentaar te geven op deze kwestie, maar als het zover komt, zal OpenAI zich aansluiten bij de gelederen van technologiegiganten uit Silicon Valley zoals Google, Amazon, Microsoft en Tesla bij het ontwikkelen van hun eigen chips.

Waarom wil OpenAI zijn eigen chips ontwikkelen?

Zoals eerder vermeld is de belangrijkste reden achter OpenAI's ontwikkeling van eigen chips het tekort aan GPU's. Meer specifiek zijn de prijzen voor zowel de aanschaf van Nvidia GPU's als het gebruik van GPU-gebaseerde clouddiensten te hoog, vooral gezien de exponentiële toename van de rekenkracht die nodig is voor OpenAI's toekomstige modeltraining.

OpenAI investeert al enkele jaren strategisch in generatieve kunstmatige intelligentie. Met de release van GPT-3 vorig jaar en ChatGPT in de tweede helft van het jaar zijn de mogelijkheden van deze grootschalige generatieve taalmodellen de afgelopen jaren aanzienlijk verbeterd en hebben ze een stadium bereikt waarin ze zinvolle gesprekken met mensen kunnen voeren. . Als gevolg hiervan is OpenAI uitgegroeid tot een leider op het gebied van kunstmatige intelligentie, en is generatieve AI een van de meest impactvolle technologieën geworden die naar verwachting de menselijke samenleving de komende jaren vorm zullen geven. Volgens Reuters boekte OpenAI vorig jaar een omzet van $28 miljoen, maar leed het een totaalverlies van $540 miljoen, voornamelijk als gevolg van de kosten in verband met rekenkracht. Het is vermeldenswaard dat dit enorme verlies van 540 miljoen dollar zich in 2022 heeft voorgedaan, net vóór de golf van generatieve kunstmatige intelligentie.

Vooruitkijkend wordt verwacht dat de kosten in verband met rekenkracht exponentieel zullen stijgen. Dit komt voornamelijk door:

• De concurrentie op het gebied van grootschalige modellen wordt heviger en de snelheid van de modelevolutie wordt steeds groter, waardoor een snel toenemende rekenkracht nodig is. Naast OpenAI pushen technologiegiganten zoals Google ook hun eigen grootschalige modellen, wat het tempo van de modelevolutie aanzienlijk heeft versneld. Er wordt verwacht dat een nieuwe generatie modellen elk kwartaal tot een half jaar zal moeten worden bijgewerkt, en de rekenkracht die nodig is voor de meest geavanceerde modellen zal naar schatting elk jaar met een orde van grootte toenemen.

• Grootschalige modellen worden in een breder scala aan scenario’s toegepast. Momenteel zijn Microsoft en Google al begonnen met het gebruik van grootschalige modellen op het gebied van zoeken en codeschrijven. Er wordt verwacht dat er in de toekomst meer toepassingen voor grootschalige modellen zullen zijn, waaronder automatische taakverwerking, multimodale vraag- en antwoordsessies, enz. Hierdoor zal het aantal verschillende modellen aanzienlijk toenemen, en ook de totale rekenkracht die nodig is voor de implementatie van het model aanzienlijk. .

Volgens een analyse van het Amerikaanse financiële bedrijf Bernstein zouden de jaarlijkse GPU-uitgaven van OpenAI 16 miljard dollar bedragen als het verkeer van ChatGPT een tiende van de zoekresultaten op Google zou bereiken (wat ook een van OpenAI's belangrijke doelen in de toekomst is). Dergelijke uitgaven kunnen mogelijk een aanzienlijk knelpunt worden voor de verdere schaalvergroting van OpenAI.

Hoeveel kosten kan OpenAI besparen als ze hun eigen chips ontwikkelen? Momenteel bedragen de aanschafkosten van een server met acht Nvidia H100 GPU's ongeveer $300,000, en de totale kosten voor het gebruik van deze server gedurende drie jaar, inclusief de premie van cloudserviceproviders, bedragen ongeveer $1 miljoen (dit is de officiële prijs opgegeven door AWS , waarbij de prijzen van andere aanbieders van clouddiensten naar verwachting in hetzelfde bereik zullen liggen). Als OpenAI de kosten van zo'n server met acht GPU's met hun zelfontwikkelde chips kan terugbrengen tot onder de $100,000, zou dit hun kosten aanzienlijk verlagen. Aan de andere kant, als de zelfontwikkelde chips succesvol zijn, is het veelbelovend om de kosten van een enkele acceleratorkaart onder de $10,000 te houden in het geval van grootschalige inzet. Met andere woorden: het beheersen van de kosten van een server met acht GPU's onder de $100,000 is geen onhaalbaar doel.

Wordt vervolgd...