Matt, een Amerikaan met een Ph.D. in Communicatie, onlangs begonnen aan een freelance carrière bij Scale AI, waar hij vanuit huis AI-modellen trainde.

Maar is Matt nu een gewaardeerde AI-programmeur? Niet helemaal. Zijn werk is nogal alledaags: hij werkt binnen het systeem van Scale AI, waarbij hij AI-reacties beoordeelt vanuit het perspectief van een gebruiker om nauwkeurigheid te garanderen en feedback te geven. Hij zou bijvoorbeeld kunnen verifiëren welke reacties van ChatGPT mogelijk negatieve gebruikersfeedback kunnen ontvangen wanneer hij AI voor Google traint om vluchten te boeken.

Schaal-AI zelf produceert geen grote modellen; in plaats daarvan werkt het samen met grote AI-producenten zoals Alphabet, OpenAI, Meta en anderen, waardoor ‘menselijk toezicht’ wordt geboden.

De goedkope arbeidskrachten uit landen als Afrika, India en de Filipijnen zijn echter niet langer voldoende om aan de eisen van de klant te voldoen. Als gevolg hiervan is Scale AI begonnen met het terugschroeven van zijn buitenlandse activiteiten en heeft het nu honderdduizenden werknemers in eigen land in de Verenigde Staten in dienst, waaronder hoogopgeleide individuen zoals Matt.

Dit grootschalige data-annotatiebedrijf, dat acht jaar geleden werd opgericht, voltooide in mei onlangs een Series F-financieringsronde van $ 1 miljard, geleid door Accel en met deelname van mondiale giganten als Amazon, Intel, AMD, Cisco, Meta en Tiger Global. Het bedrijf verwacht dat zijn omzet dit jaar meer dan $1 miljard zal bedragen, waarmee het zich positioneert als een van de grootste inkomstengenererende bedrijven in de generatieve AI-sector.

De laatste waardering is gestegen naar $13.8 miljard, wat een belangrijke prestatie is onder AI-startups en de opvallende Hugging Face uit Silicon Valley overtreft, die na de financieringsronde van afgelopen augustus een waardering van $4.5 miljard behaalde. De waardering plaatst het nu dichter bij de xAI van Elon Musk, die in de laatste financieringsronde een waardering van 18 miljard dollar bereikte.

Scale AI, het bedrijf dat mensen in dienst heeft om grof werk voor AI te doen, is een cruciaal arsenaal geworden in de huidige AI-race.

Als we het hebben over ‘grootschalige modeltraining’, stellen we ons duizenden geavanceerde chips voor die grote modellen aandrijven om honderden miljarden bytes aan tekst te analyseren. Dit is echter slechts de eerste stap vóór de training.

Maar alleen hierop vertrouwen is niet genoeg om ervoor te zorgen dat systemen als Claude van Anthropic, ChatGPT van OpenAI, Llama van Meta en Bard van Google correcte antwoorden geven in een mensachtige stijl.

Om dit te bereiken is een tweede stap nodig: finetuning. Dit vergt een aanzienlijke hoeveelheid menselijke inspanning, hetzij intern door AI-fabrikanten, hetzij afkomstig van bedrijven als Scale, Surge AI, Labelbox, Telus International en anderen. Deze bedrijven bieden grote teams de mogelijkheid om ideale antwoorden te schrijven voor chatbots van klanten, waarbij ze de bots in de hand houden om meer ‘perfecte’ antwoorden te leveren.

Bedrijven die data-annotatiediensten voor AI-modellen leveren zijn niet geheel nieuw; de laatste golf die dergelijke bedrijven naar een hoger niveau bracht, was op het gebied van autonoom rijden.

Scale AI is opgericht in 2016. Scale AI heeft vanaf het begin nauwe banden met OpenAI, geïncubeerd in het startende renpaardprogramma van Y Combinator en kreeg steun van YC zelfs voordat het programma eindigde. Destijds was de president van YC Sam Altman, die later medeoprichter was van OpenAI.

Destijds, voordat de ‘Battle of Thousand Models’ begon, ving Scale AI voor het eerst de golf op van de razernij op het gebied van autonome rijtechnologie die door Silicon Valley raasde. Voor het realiseren van autonoom rijden waren AI-algoritmen nodig, en er waren op dat moment geen andere outsourcingbedrijven die in staat waren om de 3D-beelden te annoteren die werden gegenereerd door radar en sensoren van autonome voertuigen.

Aanvankelijk waren Scale AI-ingenieurs enkele maanden bezig met het ontwikkelen van een 3D-annotatieproduct voor de autonome leveringsstartup Nuro. Al snel werden Waymo van Alphabet, Cruise van General Motors en zelfs Apple klanten van Scale AI.

Eind 2017 had Scale AI meer dan 1,000 annotators ingehuurd, voornamelijk in de Filippijnen. Gemiddeld verdienden deze contractarbeiders $ 1.5 per uur en werkten ze 10 uur per week.

In 2019 was OpenAI ook al een aantal jaren opgericht, voornamelijk gericht op de ontwikkeling van grote AI-modellen, en werd vervolgens klant van Scale AI. Op dat moment waren grote AI-modellen echter geen belangrijke inkomstenbron voor Scale AI.

Toen de hype rond autonome rijtechnologie geleidelijk afnam en de markt terugkeerde naar rationaliteit, werd Scale AI geconfronteerd met een crisis. In 2022 was de omzetgroei van Scale AI met 50% afgenomen, wat investeerders teleurstelde.

Eind 2022 bracht OpenAI echter ChatGPT uit, en Scale AI beleefde een plotselinge heropleving.

Naast OpenAI werkte Scale AI ook samen met Meta en Alphabet, het moederbedrijf van Google, aan grote modelinitiatieven. De omzet van het bedrijf steeg van $227 miljoen in 2022 naar $680 miljoen in 2023.

Op de top van deze golf stelde Scale AI zich een omzetgroei van 206% ten doel voor 2024 en streeft ernaar winstgevendheid te bereiken.

Op dit moment is Scale AI begonnen met het doorvoeren van veranderingen. Goedkope arbeidskrachten uit het buitenland kunnen alleen basistaken uitvoeren, maar producten die worden aangestuurd door grote modellen op het gebied van schrijven, programmeren en gespecialiseerde kennis zijn in opkomst. Schaal-AI moet zijn personeelsbestand upgraden.

In een investeerderspresentatie verklaarde Scale dat het een kritische AI-infrastructuur bouwt, met als doel een ‘AI-datagieterij’ te worden, die doet denken aan halfgeleiderbedrijven. De oprichter van het bedrijf heeft ook publiekelijk de nadruk gelegd op de bijdragen van individuen met een doctoraat, artsen, advocaten en anderen bij het trainen van AI-systemen: "We hebben de beste en slimste geesten nodig om gegevens bij te dragen."

Volgens het rapport van Rest of World heeft Scale AI onlangs aannemerslocaties in Kenia, Nigeria en Pakistan gesloten. Het bedrijf richt zich nu op het werven van hooggekwalificeerde personen in de VS om te helpen bij het trainen van grote modellen.

Ongeveer 300,000 mensen wachten op taken via de operationele werkgroepen van Scale AI's dochteronderneming Outlier.

De ‘huurlingen’ van Scale AI in de VS zijn niet goedkoop, met een gemiddeld uurloon van $40. De baan heeft echter nog steeds een gevoel van 'gromwerk'.

Melissa Quashie uit Massachusetts verdient $40 per uur als freelancer en redacteur bij Scale AI. Haar taken omvatten het evalueren van verschillende antwoorden die door grote modellen worden gegenereerd, het beoordelen van hoe modellen vragen beantwoorden en het beoordelen van de kwaliteit van de antwoorden.

Voor Quashie voelt werken bij Scale AI als "de domste videogame die ik ooit heb gespeeld." Ze heeft ooit twee uur besteed aan het schrijven van een ‘driedaags maaltijdplan’, alleen maar om de antwoorden voor een chatbot te verbeteren.

Bovendien begint het evenwicht tussen vraag en aanbod te kantelen nu Scale AI een groot personeelsbestand heeft verzameld. Vaak zijn de taken die door Scale AI worden verdeeld onvoldoende om aan de vraag van zijn ‘huurlingen’ te voldoen. Velen merken dat de baan weliswaar flexibele uren en een aantrekkelijk loon biedt, maar dat er ook lange periodes zijn waarin niets te doen is. Volgens interviews door The Information met 10 Scale AI-aannemers delen de meesten soortgelijke klachten.

Misschien heeft de snelle expansie van het bedrijf in de AI-golf tot deze problemen geleid. Scale AI lijkt meer gericht op het tevreden stellen van klanten dan op de werkervaring van de beroepsbevolking. Naast klachten over onvoldoende training en frequente systeemcrashes, bekritiseren werknemers het bedrijf ook omdat het niet genoeg taken levert.

Een ander lastig probleem is het compensatiesysteem. Zelfs hooggekwalificeerde individuen die arbeid leveren aan Scale AI in de VS hebben weinig te zeggen. Eén eerder genoemde contractant, een PhD genaamd Matt, werd op onverklaarbare wijze van het platform getrapt.

De beloning is niet gebaseerd op de hoeveelheid werk, maar op kwaliteitsbeoordelingen, en Scale AI behoudt de uiteindelijke controle. Zelfs wanneer de betaling verschuldigd is, kan deze vertraging oplopen doordat klanten de tijd nemen om te bevestigen.

Gebaseerd op kwaliteit in plaats van kwantiteit voor uitbetalingen helpt Scale AI de kosten onder controle te houden, wat in dit stadium een ​​cruciale factor is voor het bedrijf.

Naarmate Scale AI zijn focus verschuift van offshore-markten die goedkope arbeidskrachten naar de VS bieden, wordt kostenbeheersing een grotere uitdaging. Volgens financiële gegevens verkregen door The Information is de brutomarge van Scale AI (inclusief de kosten betaald aan menselijke arbeiders) gedaald van 59% in 2022 naar 49% in 2023.

Tegelijkertijd heeft Scale AI investeerders geïnformeerd dat het werkt aan het verlagen van de kosten. Het bedrijf voorspelt dit jaar een stijging van de brutomarge met 5 procentpunten en streeft naar 60% in 2025.

Scale AI heeft verklaard dat het tot doel heeft kosten te besparen door interne tools te gebruiken om de identificatie van ‘efficiënte experts’ te automatiseren, de kosten van handmatige trainingsmodellen te verlagen en te vertrouwen op computergegenereerde gegevens om de menselijke arbeidsefficiëntie te verbeteren.

Een andere kostenbesparende maatregel is het inkrimpen van het interne personeel (anders dan de ‘huurlingen’, verwijzend naar formele werknemers bij Scale AI). In februari 2023 greep Scale AI een kans te midden van de AI-hausse en de ontslagen in Silicon Valley, waardoor het personeelsbestand met 20% werd ingekrompen.

Naast kostenbesparende inspanningen breidt Scale AI zijn activiteiten uit.

Ondanks tegenstand van medewerkers heeft Scale AI zijn belofte om niet met overheden samen te werken verworpen. Onlangs verscheen mede-oprichter Alexander Wang samen met een generaal van het Amerikaanse leger in Washington, waarbij hij aangaf dat het bedrijf jaarlijks meer dan $100 miljoen verdient aan overheidscontracten. Wang bezocht ook Qatar voor bijeenkomsten achter gesloten deuren met functionarissen die graag hun eigen grote taalmodellen wilden ontwikkelen.

Naast het bieden van overvloedige menselijke hulpbronnen voor AI-fabrikanten, biedt Scale AI ook door AI gegenereerde synthetische datasets: gegevens die door AI worden gegenereerd om AI te trainen en die voldoen aan de toenemende eisen op het gebied van AI-modeltraining.

Momenteel blijven ‘mensen van hoge kwaliteit’ de cruciale ‘hulpbron’ van Scale AI, en het bedrijf onderneemt stappen om deze toppresteerders te koesteren.

In Austin en Jacksonville, Florida, in Texas, organiseerde Scale AI meerdaagse workshops waarbij tientallen ‘elitewerkers’ werden uitgenodigd om deel te nemen.

Een deelnemer aan de workshop in Austin noemde ongeveer 50 trainers die betrokken waren bij een project dat naar verluidt verband hield met de Bard-chatbot van Alphabet. Ze bespraken de antwoorden die ze voor verschillende prompts hadden geschreven en genoten 's avonds zelfs samen van karaoke.

In Jacksonville ontmoette Quasi universiteitsprofessoren, promovendi, schrijvers en podcast-hosts. "We hebben zes uur onafgebroken gewerkt en daarna genoten van een glaasje wijn."

"Iedereen is enthousiast over het verbeteren van grote taalmodellen. Maar niemand praat over wie zijn baan zou kunnen verliezen vanwege het werk dat we doen."

Ironisch genoeg werken honderdduizenden mensen voor AI om de prestaties ervan te verbeteren. Maar als AI voldoende bekwaam wordt, kunnen deze werknemers tot de eersten behoren die worden vervangen. Als AI zelfvoorzienend kan worden, waarom zouden we dan afhankelijk zijn van ‘hoog-intellectuele arbeid’ die 40 dollar per uur kost?