Miqu 70b en Mistral 70b zijn eindelijk onthuld, waarbij het recente Mistral Medium-lek licht werpt op langverwachte open-source AI-modellen en hun mogelijkheden worden tentoongesteld.
De AI-wereld gonst van het “Miqu-1-70b”-model en de mogelijke connectie ervan met het geheime Mistral Medium van Mistral AI. Op 28 januari “Miqu Dev” op mysterieuze wijze heeft “miqu-1-70b”-bestanden geüpload op Hugging Facegevolgd door een optreden op 4chan en X.
Het model maakte indruk en concurreerde op sommige gebieden zelfs met GPT-4. Nog niet overtuigd? Zien N8-programma’s‘ post op X hieronder.
Wat Miqu ook is, er zit een speciale saus in. Het krijgt een 83,5 op EQ-Bench (lokaal geëvalueerd) en overtreft *elke andere LLM ter wereld behalve GPT-4*. EQ-Bench heeft een correlatie van 0,97 met MMLU en een correlatie van 0,94 met Arena Elo. Het *verslaat* Mistral Medium – bij Q4_K_M. I… pic.twitter.com/0gOOPjxjPD
— N8-programma’s (@N8Programs) 30 januari 2024
Mistral Medium lek onthult Miqu 70b en Mistral 70b
Op 28 januari liet een gebruiker met de naam “Miqu Dev” een bom vallen op HuggingFace, een populair platform voor AI-enthousiastelingen. Ze hebben een reeks bestanden geüpload waaruit het Miqu 70B-model bestaat, wat voor veel opschudding heeft gezorgd in de AI-wereld. Dit model wordt geprezen als een potentiële game-changer, waarbij sommigen beweren dat het GPT-4 waar voor zijn geld zou kunnen geven.
Het model werd getest aan de hand van vier professionele Duitse trainingsexamens voor gegevensbescherming, die de daadwerkelijke certificeringstests weerspiegelden die voor werknemers vereist zijn. De resultaten waren indrukwekkend, met Miqu 1 70B 17 van de 18 meerkeuzevragen correct beantwoorden, waaruit blijkt dat het een robuust begrip van de inhoud heeft. Het bedrijf slaagde er echter niet in zich te houden aan de instructie om te reageren met “OK” om informatie te bevestigen, wat een tekortkoming in de naleving van de instructies aangeeft.
Als je het vergelijkt met andere modellen, Miqu 70B toonde bekwame taalvaardigheden en tweetalige vaardigheden. Het presteerde echter niet beter dan de Mixtral-8x7B-Instruct-v0.1-model of andere hooggeplaatste modellen zoals GPT-4, Goliath-120B-GGUFEn Tess-XL-v1.0-GGUFdie allemaal perfecte scores behaalden in beide testrondes en zich aan de “OK”-instructie hielden.
Is Miqu 70B echt een Mistral Medium-lek?
De oorsprong van Miqu-1-70B blijft een mysterie, waarbij sommigen speculeren dat het een gelekte versie van Mistral-Medium of een oudere experimentele versie is. De prestaties van het model hebben geleid tot debatten en discussies in de technologiegemeenschap, waarbij sommigen beweren dat dit de real deal is, terwijl anderen sceptisch zijn.
Arthur Mensch, de grote baas bij Mistral, heeft eindelijk de geruchten aangepakt. Hij bevestigde dat een enthousiaste bever uit hun early access-publiek zich een beetje liet meeslepen en een oud model lekte. Mensch liet echter ook doorschemeren dat ze sindsdien iets nog beters hebben bedacht, een model dat mogelijk de GPT-4 zou kunnen overtreffen.
Een overenthousiaste medewerker van een van onze early access-klanten lekte een gekwantiseerde (en watermerk) versie van een oud model dat we vrij openlijk hadden getraind en verspreid.
Om snel met een aantal geselecteerde klanten aan de slag te gaan, hebben we dit model van Llama 2 omgeschoold vanaf het moment dat we…
— Arthur Mensch (@arthurmensch) 31 januari 2024
Als Mistral een open-sourcemodel uitrolt dat vergelijkbaar is met GPT-4, zou dit schokgolven door de AI-scene kunnen sturen. OpenAI moet misschien op zijn hoede zijn, want er is een nieuwe concurrent in de stad, klaar om de status quo uit te dagen. Dit lek zou heel goed de vonk kunnen zijn die een heel nieuw tijdperk in AI doet ontbranden, waar de grote namen
Dus is Mistral beter dan ChatGPT?
Bepalen of Mistral ‘beter’ is dan ChatGPT is moeilijk omdat het afhangt van wat u zoekt in een LLM en hoe u ‘beter’ definieert. Hier volgt een overzicht van hun sterke en zwakke punten, zodat u kunt beslissen welke het beste bij uw behoeften past:
Mistral
Sterke punten:
- Open source: Mistral biedt verschillende modellen, waaronder enkele open-sourcemodellen, waardoor ze toegankelijker worden voor persoonlijke en onderzoeksdoeleinden
- Efficiëntie: Mistral-modellen zoals Mixtral-8x7B staan bekend om hun efficiëntie en vereisen minder rekenkracht dan vergelijkbare modellen zoals GPT-4
- Transparantie: Hoewel niet alle modellen open-source zijn, is Mistral doorgaans transparanter over hun ontwikkelingsproces en onderzoek in vergelijking met OpenAI’s gesloten-sourceaanpak met ChatGPT
Zwakke punten:
- Prestatie: Over het algemeen scoren Mistral-modellen iets lager dan topmodellen zoals GPT-4 op benchmarks voor taken als het genereren en vertalen van tekst
- Toegankelijkheid: Sommige van de krachtigste modellen van Mistral (zoals Mistral Medium) zijn niet openbaar beschikbaar of vereisen wachtlijsten en toegangsprijzen
- Beperkte gemeenschap: Vergeleken met ChatGPT heeft Mistral een kleinere gebruikersbasis en community, waardoor de beschikbare middelen en ondersteuning beperkt kunnen worden
ChatGPT
Sterke punten:
- Prestatie: GPT-4 laat momenteel topprestaties zien in veel benchmarks, vooral op gebieden als het genereren van creatieve tekst en complexe dialogen
- Toegankelijkheid: OpenAI biedt gratis toegang tot ChatGPT via bètaprogramma’s en API’s, waardoor het gemakkelijker beschikbaar is voor persoonlijk gebruik
- Grote gemeenschap: De grote gebruikersbasis en community creëren uitgebreide bronnen, handleidingen en applicaties voor het gebruik van ChatGPT
Zwakke punten:
- Gesloten bron: Het gesloten-bronkarakter van ChatGPT roept zorgen op over transparantie en mogelijke vooroordelen in het model
- Computationele kosten: GPT-4 vereist aanzienlijke rekenkracht, waardoor het minder toegankelijk is voor personen met beperkte middelen
- Etnische twijfels: OpenAI’s controle over de toegang en de beperkte transparantie roepen zorgen op over verantwoorde ontwikkeling en mogelijk misbruik van de technologie
Uiteindelijk hangt de ‘betere’ optie af van uw prioriteiten. Als u een open-sourcemodel met goede efficiëntie en transparantie nodig heeft, is Mistral wellicht een goede keuze. Als u prioriteit geeft aan topprestaties en bredere community-ondersteuning, is ChatGPT wellicht de betere keuze.
Uitgelicht beeldtegoed: Mistral AI.