OpenAI onthulde zijn eerste op maat gemaakte inferentieprocessor, Jalapeño, ontwikkeld in samenwerking met Broadcom. De processor, speciaal ontworpen voor de inferentiesystemen van OpenAI, werd bijgestaan door de eigen AI-modellen van het bedrijf, aldus het bedrijf.
Jalapeño wordt momenteel getest, waarbij de eerste resultaten wijzen op aanzienlijk betere prestaties per watt in vergelijking met de huidige state-of-the-art alternatieven. De samenwerking met Broadcom werd officieel aangekondigd in oktober, met voortdurende speculaties dat het de afhankelijkheid van OpenAI van de GPU’s van Nvidia wil verminderen.
Net als OpenAI hebben Google en Amazon ook aangepaste chips gemaakt die “AI-accelerators” worden genoemd om de prestaties van machine learning te verbeteren. OpenAI-president Greg Brockman besprak de chipontwikkelingsstrategie van het bedrijf op een podcast kort na de aankondiging van het Broadcom-partnerschap.
“We hebben een diep inzicht in de werkdruk”, zei Brockman. “We zijn echt op zoek geweest naar specifieke werklasten die onvoldoende worden bediend, [en vragen] hoe we iets kunnen bouwen dat in staat zal zijn om te versnellen wat mogelijk is?”
De Jalapeño-processor is geoptimaliseerd voor gevolgtrekking, waarbij vooraf gebouwde AI-modellen worden uitgevoerd als reactie op gebruikersopdrachten. OpenAI benadrukte de lage bedrijfskosten van de chip voor realtime codeermodellen. Meer prestatie-intensieve taken, zoals pre-training, zullen waarschijnlijk afhankelijk blijven van Nvidia-hardware, maar lagere gevolgtrekkingskosten zouden een positieve invloed kunnen hebben op de financiën van OpenAI.
Het optimaliseren van gevolgtrekkingssystemen kan essentieel zijn voor de economische levensvatbaarheid van AI in de toekomst. OpenAI is gericht op het bouwen van verschillende agentische producten, waaronder Codex, naast de noodzakelijke datacenters voor implementatie. De verschuiving naar op maat gemaakte chips stelt het bedrijf in staat zijn infrastructuur verder te verbeteren.
“OpenAI ontwikkelt niet alleen grensmodellen of bouwt er producten bovenop; het ontwerpt ook de infrastructuur eronder: chiparchitectuur, kernels, geheugensystemen, netwerken, planning, implementatiesystemen en productervaring”, aldus het bedrijf. “Omdat OpenAI over de hele stapel heen werkt, kan elke laag worden geoptimaliseerd rond hetzelfde doel: de modellen sneller, betrouwbaarder en betaalbaarder maken voor gebruikers.”
