Qualcomm, een toonaangevende leverancier van draadloze communicatie en processors, heeft tijdens het Mobile World Congress Barcelona aanzienlijke vooruitgang geboekt op het gebied van kunstmatige intelligentie (AI). Het primaire doel van het bedrijf is om AI op schaal uit te voeren op edge-apparaten zoals telefoons, computers en andere apparaten.
Qualcomm heeft met succes ‘s werelds eerste grote taal (LLM) en grote multimodale model op een Android-telefoon uitgevoerd, waardoor een chatachtig, uit meerdere fasen bestaand gesprek tussen de gebruiker en zijn apparaat mogelijk is. Daarnaast heeft het bedrijf plannen aangekondigd om AI te versnellen op een breed scala aan edge-apparaten, waaronder de volgende generatie computers, voertuigen, telefoons, industriële IoT-apparaten, Wi-Fi-toegangspunten en mobiele infrastructuur.
Gebruiksvriendelijke Qualcomm AI-hub
Om de ontwikkeling van AI-toepassingen te vergemakkelijken, Qualcomm heeft de AI Hub gecreëerd, die ontwikkelaars een enorme bibliotheek met AI-modellen biedt die zijn geoptimaliseerd voor hoge prestaties op Snapdragon en andere Qualcomm-platforms. Het platform biedt veel functies, zoals het weergeven van afbeeldingen en tekst, en tot vier keer snellere gevolgtrekking op apparaten die worden aangedreven door Snapdragon of andere Qualcomm-platforms.
De AI Hub biedt een gebruiksvriendelijke ervaring, waardoor ontwikkelaars kunnen kiezen uit meer dan 75 AI-modellen en kunnen kiezen tussen TensorFlow-, PyTorch- of Onyx-werkomgevingen. Er zijn ook modellen beschikbaar op Hugging Face en GitHub, waardoor ontwikkelaars gemakkelijk AI in hun applicaties kunnen integreren.
Wat is LoRA?
Qualcomm bereikte ook nog een technische prestatie door zijn eerste low-order implementatie (LoRA) op een Android-telefoon uit te voeren. LoRA is ontwikkeld door Microsoft en heeft tot doel de complexiteit van modeltraining te verminderen in termen van latentie, kosten en hardwarevereisten. LoRA biedt een nieuwe benadering voor het genereren van afbeeldingen die anders is dan generatieve AI-tools zoals DALL-E. Door de modelcomplexiteit te verminderen, vermindert LoRA de geheugenvereisten, verbetert de efficiëntie en kunnen lichtgewicht versies worden aangepast zonder dat het volledige model hoeft te worden gedownload of verfijnd.
LoRA hanteert een andere benadering dan traditionele AI-renderingmodellen. Deze modellen leren een patroon van pixels om de afbeelding te creëren. LoRA gebruikt een lijst met vectoren om de afbeelding te maken. Vectoren vertegenwoordigen de basiskenmerken van de afbeelding (vorm, kleur, textuur, enz.).
De vectorgebaseerde aanpak van LoRA vermindert de complexiteit en omvang van het model aanzienlijk. Hierdoor kan het model sneller worden getraind, waardoor minder hardware nodig is en minder energie wordt verbruikt.
Snapdragon X Elite: ontworpen voor AI-toepassingen
De Snapdragon X Elite is ontworpen om AI uit te voeren en beschikt over een 4nm SoC-architectuur, een 12-core Qualcomm Oryon CPU met dual-core ondersteuning en een geïntegreerde Qualcomm Adreno GPU. Hij biedt dagenlang gebruik met één keer opladen, waardoor voortdurend opladen niet meer nodig is. Een van de belangrijkste kenmerken is dat het ook generatieve AI LLM-modellen met 13 miljard parameters kan uitvoeren.
Om de mogelijkheden van de SoC te demonstreren, voerde Qualcomm een prestatiebenchmark uit tussen de Snapdragon X Elite en een concurrerende x86-processor met de meest efficiënte GPU-, CPU- en NPU-configuratie. De benchmark maakte gebruik van GIMP, een krachtige open-source rastergrafische editor uitgerust met de Stable Diffusion-plug-in voor het genereren van GAI-afbeeldingen. Uit de resultaten bleek dat Snapdragon X Elite met een “45 TOPS” NPU beelden drie keer sneller kan weergeven dan zijn x86-concurrent. Om beter te begrijpen hoe krachtig de verwerkingskracht van 45 TOPS is, kunnen we naar het onderstaande voorbeeld kijken:
- Een menselijk brein kan ongeveer 100 biljoen bewerkingen per seconde uitvoeren.
- Een desktopcomputer kan ongeveer 10 biljoen bewerkingen per seconde uitvoeren.
- Een smartphone kan ongeveer 1 biljoen handelingen per seconde uitvoeren.
Zoals u kunt zien, is de verwerkingskracht van 45 TOPS 45 keer meer dan een smartphone en 4,5 keer meer dan een desktopcomputer. Hieruit blijkt dat het Snapdragon X Elite-platform een zeer krachtig platform is voor AI-toepassingen.
NPU, wiens naam we begonnen te horen
NPU staat voor Neural Processing Unit, een gespecialiseerde processor voor kunstmatige intelligentie en machine learning-toepassingen. NPU’s bieden superieure prestaties, vooral bij het berekenen van wiskundige bewerkingen die worden gebruikt door kunstmatige neurale netwerken (ANN’s). Deze wiskundige bewerkingen omvatten matrixvermenigvuldiging, convolutie en activeringsfuncties.
NPU’s zijn ontworpen om efficiënter te werken met gegevens met lage precisie, waardoor ze ideaal zijn voor AI-workloads. Ze zijn ook veel energiezuiniger dan CPU’s en GPU’s voor AI-computing.
Qualcomm’s innovaties op het gebied van AI
De optimistische houding van het bedrijf over dit onderwerp heeft tot doel ervoor te zorgen dat kunstmatige intelligentie efficiënt wordt gebruikt op veel verschillende platforms. De Snapdragon 8 Gen 3-telefoonprocessor en Snapdragon X Elite pc-platforms van het bedrijf kunnen belangrijke functies vervullen op gebieden zoals generatieve AI, computervisie en natuurlijke taalverwerking.
Qualcomm biedt ontwikkelaars ook geavanceerde AI-mogelijkheden via de Qualcomm AI Hub. De hub biedt ontwikkelaars middelen, waaronder meer dan 75 AI-modellen die zijn geoptimaliseerd voor hoge prestaties op Snapdragon en andere Qualcomm-platforms.
Het gebruik van kunstmatige intelligentie in smartphones is beperkt, maar als het bedrijf zijn woord houdt en deze technologieën ontwikkelt zoals het wil, zullen we kunstmatige intelligentie in onze telefoons kunnen gebruiken zoals we het in onze computers gebruiken. AI voegt ook een geheel nieuwe dimensie toe aan de game-ervaring, waardoor virtuele game-assistenten nieuwe game-inhoud kunnen genereren en de spelregels en gameplay dynamisch kunnen aanpassen op basis van de kennis van de speler of het verlangen naar een meer uitdagende ervaring.
Qualcomms schaalbare commercialisering van AI op apparaten levert een belangrijke bijdrage aan de democratisering van AI. Deze visionaire stappen maken Qualcomm tot een belangrijke speler op het gebied van AI, en het bedrijf kan de grootschalige adoptie van AI verder versnellen.
De ontwikkelingen op het gebied van kunstmatige intelligentie gaan door. In dit tempo zal de kunstmatige intelligentie, die voor het eerst onze computers binnendrong, onze telefoons efficiënt bereiken. Ik denk dat het ook laat zien hoeveel deze sector in de toekomst zal groeien, met processors die speciaal zijn gebouwd om AI te begrijpen. Hoewel de ethiek en moraliteit ervan momenteel ter discussie staan, zal het gebruik van deze technologie de komende dagen op de een of andere manier door alle gebruikers worden geaccepteerd. Met de vooruitgang van Qualcomm kunnen we AI-aangedreven apparaten verwachten die met gemak complexe taken kunnen uitvoeren, waardoor ons leven gemakkelijker en efficiënter wordt.
Uitgelichte afbeeldingscredits: Qualcomm
Source: De dromen over kunstmatige intelligentie van Qualcomm zijn ongeëvenaard