Elon Musk’s xAI Corp. heeft Colossus gelanceerd, een krachtig AI-trainingssysteem. Musk kondigde dit aan in een recente post op X, voorheen bekend als Twitter. Het nieuwe systeem, dat gebruikmaakt van 100.000 Nvidia-videokaarten, is een grote stap voorwaarts voor xAI en de AI-community.
Het Colossus-systeem maakt gebruik van Nvidia’s H100-videokaarten, die sinds 2022 de standaard zijn voor AI-verwerking. Het systeem is een van de meest geavanceerde AI-trainingssystemen die ooit zijn gebouwd. Musk zegt dat het nieuwe systeem het “krachtigste AI-trainingssysteem ter wereld” is. Het zou zelfs de snelste supercomputers kunnen overtreffen, zoals de Aurora van het Amerikaanse ministerie van Energie.
Dit weekend is de @xAI team bracht ons Colossus 100k H100-trainingscluster online. Van begin tot eind was het in 122 dagen gedaan.
Colossus is het krachtigste AI-trainingssysteem ter wereld. Bovendien zal het in een paar maanden verdubbelen in omvang tot 200k (50k H200s).
Uitstekend…
— Elon Musk (@elonmusk) 2 september 2024
De drijvende kracht achter de kracht van Colossus
De rekenkracht van het Colossus-systeem komt van Nvidia H100-chips. Deze chips behoren tot de krachtigste in de AI-industrie en zijn ontworpen om grote taalmodellen te trainen. De H100’s Transformatormotor module is een set circuits die geoptimaliseerd zijn voor het uitvoeren van AI-modellen op basis van de Transformer neurale netwerkarchitectuur. Deze architectuur wordt gebruikt in veel top-AI-modellen, waaronder Meta’s Llama 3.1 405B en OpenAI’s GPT-4.
Muskus xAI Corp. heeft een Investering van 6 miljard dollarwaardoor de waardering ervan stijgt tot 24 miljard dollar. Deze financiering is onderdeel van Musks poging om te concurreren met OpenAI, een bedrijf dat hij aanklaagt wegens contractbreuk. Het Colossus-systeem is sneller dan de Aurora-supercomputer van het Amerikaanse ministerie van Energie. Het maakt gebruik van Nvidia’s geavanceerde H100-videokaarten. De nieuwere H200-chips verbeteringen aanbieden, waaronder een verschuiving van HBM3 naar HBM3e geheugen en een toename van de geheugencapaciteit aan boord om 141 gigabyte. Sommige van de chips die de Colossus aandrijven, waren oorspronkelijk bedoeld voor Tesla.
Video van de binnenkant van Cortex vandaag, de gigantische nieuwe AI-trainingssupercluster die wordt gebouwd op het hoofdkantoor van Tesla in Austin om echte AI-problemen op te lossen foto.twitter.com/DwJVUWUrb5
— Elon Musk (@elonmusk) 26 augustus 2024
Het systeem heeft meer dan 100.000 chips. Musk is van plan om het aantal chips van het systeem te verdubbelen tot 200.000, waarbij 50.000 de nieuwere, snellere H200-processors zijn. De H200 is een verbeterde versie van de H100. Het heeft twee nieuwe functies die het sneller en krachtiger maken. Deze upgrades maken het voor Colossus gemakkelijker om complexe AI-modellen te verwerken.
Naarmate xAI vordert AI-technologiehet nieuwe systeem zal de sleutel zijn tot het ontwikkelen van taalmodellen van de volgende generatie. Het hoofdmodel van het bedrijf, Grok-2, werd getraind met behulp van 15.000 GPU’s. Met de kracht van de 100.000 chips van Colossus kunnen nog geavanceerdere modellen worden gemaakt. xAI is van plan om tegen het einde van het jaar een nieuw model uit te brengen.
Naast de baanbrekende AI-ontwikkelingen benadrukt xAI’s gebruik van Nvidia-hardware de groeiende vraag naar krachtige AI-verwerkingsmogelijkheden in verschillende sectoren. Het feit dat sommige van de chips die in Colossus worden gebruikt oorspronkelijk bedoeld waren voor Tesla, onderstreept het belang van deze technologie in Musks bredere visie.
Bron van de hoofdafbeelding: Furkan Demirkaya / Dall-E
Source: Colossus bundelt krachten met Elon Musk’s xAI en Nvidia