Terwijl Meta zijn nieuwste creatie onthult, LLaMA 2 vs GPT-4 houdt momenteel de hoofden bezig van talloze AI-enthousiastelingen. Meta’s verbluffende aankondiging over de open-sourcing van dit formidabele taalmodel haalde echter ook het nieuws in een verrassende wending.
Deze beslissing katapulteerde LLaMA 2 onmiddellijk naar het rijk van AI-titanen en vormde het toneel voor een epische confrontatie met OpenAI’s vermaarde GPT-4, de krachtpatser achter ChatGPT en Microsoft Bing.
LLaMA 2 versus GPT-4 in verschillende vergelijkingen
LLaMA 2-Chat, een opmerkelijke creatie, dankt zijn bestaan aan het afstemmen en versterken van leren met waardevolle menselijke feedback. Dit proces omvatte het verzamelen van voorkeursgegevens en het trainen van beloningsmodellen, met een nieuwe techniek die bekend staat als Ghost Aandacht (GAtt). Bovendien profiteert LLaMA 2-Chat van training op GPT-4-uitvoer, een essentiële factor in de ontwikkeling ervan.
LLaMA 2 versus GPT-4: cijfers
Om de werkzaamheid van het model te evalueren, voerde Meta een humane studie uit met behulp van 4.000 aanwijzingen, gebruikmakend van de “winstpercentage” metric, vergelijkbaar met de Vicuna-benchmark, om deze te vergelijken met zowel open-source als closed-source modellen zoals ChatGPT en PaLM, in de context van single- en multi-turn prompts.
Het indrukwekkende 70B LLaMA 2 model presteert vergelijkbaar met GPT-3.5-0301 En presteert beter dan andere modellen zoals Falcon, MPT en Vicuna. LLaMA 2-Chat-modellen blinken uit in behulpzaamheid voor zowel single- als multi-turn prompts en overtreffen open-source alternatieven. Met een winstpercentage van 36% En een gelijkspelpercentage van 31,5% in vergelijking met ChatGPT, LLaMA 2-Chat bewijst zijn moed.
Bovendien presteert het beter dan het MPT-7B-chatmodel 60% van de aanwijzingen. Het totale winstpercentage van het LLaMA 2-Chat 34B-model is meer dan 75% tegen Vicuna-33B- en Falcon 40B-modellen van vergelijkbare grootte is een indrukwekkende prestatie. Bovendien, de 70B-model overtreft het PaLM-bizon-chatmodel met een aanzienlijke marge.
LLaMA 2 versus GPT-4: codering
Als het echter gaat om codering tussen LLaMA 2 versus GPT-4, ondanks de vele prestaties, LLaMA-2 heeft een zwak punt als het gaat om codering. Het schiet tekort bij het codeervermogen van GPT-3.5 (48.1) En GPT-4 (67). Terwijl de MMLU-benchmark de sterke punten van LLaMA-2 laat zien, onthult HumanEval dat de codeercapaciteit iets lager is in vergelijking met modellen die expliciet zijn ontworpen voor coderen, zoals Starcoder (33.6). Desalniettemin, gezien de open gewichten van de LLaMA-2, het is zeer waarschijnlijk dat het in de loop van de tijd aanzienlijke verbeteringen zal ondergaan.
LLaMA 2 versus GPT-4: Schrijven
Als het op schrijven aankomt, vertonen LLaMA-2 en GPT-4 duidelijke verschillen. Hun aanpak van poëzie schrijven, bijvoorbeeld, duidelijker kan niet. ChatGPT gebruikt opzettelijke woordkeuzes, geconcentreerd op fonetiek En A meer verfijnde woordenschat, verwant aan een ervaren dichter met een breed scala aan uitdrukkingen. LLaMA-2 daarentegen kiest voor een meer rechttoe rechtaan rijmende woordselectie, vergelijkbaar met een middelbare school gedicht.
Ik vroeg zowel Llama-2 als GPT-4 om een gedicht te schrijven over hun epische wedstrijd. Raad eens welke welke is.
========= Gedicht 1 =========
In het grote weefsel van het weven van technologie,
Waar informatie draait en ideeën splijten,
Twee figuren staan, hun verhalen verweven,
GPT en Lama-2,…— Jim Fan (@DrJimFan) 18 juli 2023
Ondanks dat hij op kleinere schaal is opgeleid, heeft LLaMA-2 veel bereikt lovenswaardige resultaten, volgens feedback van verschillende gebruikers die bètatoegang hebben gehad. Meta’s aanpak, in eerste instantie met behulp van openbaar beschikbare gegevens En later aangevuld met gegevens van hoge kwaliteit, heeft bewezen effectief in het bereiken van betere resultaten met minder voorbeelden. Er is waargenomen dat de output van het model vergelijkbaar is met menselijke annotaties, een bewijs van de nauwgezette aard van de ontwikkeling ervan.
LLaMA 2 versus GPT-4: resultaten met dezelfde prompt
Het is belangrijk op te merken dat het misschien niet helemaal eerlijk is om deze twee modellen in hun geheel te vergelijken, aangezien we alleen toegang hebben tot de demoversie van Llama 2. Het gebruik van dezelfde prompt voor zowel GPT-4 als Llama 2 geeft ons echter wat interessante inzichten in hun respectieve capaciteiten en stilistische tendensen.
De prompt: “Schrijf me een passage van 100 woorden over het belang van chatbots.”
- GPT-4:
Het lijkt erop dat de reactie van GPT-4, hoewel korter en beknopter 93 woorden, met succes biedt Precieze informatie.
- Lama 2-demo:
Aan de andere kant neigt Llama 2 naar een uitgebreider antwoord met 122 woorden. Ook al is het iets uitgebreider gezien de gegeven prompt, het biedt lovenswaardig gedetailleerde informatie.
Achtergrond van LLaMA 2
De reis van LLaMA begon in februari, enthousiasme genereren binnen de AI-onderzoeksgemeenschap. Een lek kort na de aankondiging droeg alleen maar bij aan de intriges. Nu, met de release van LLaMA 2 als een open-sourcemodel, heeft het potentiële publiek dat ook exponentieel uitgebreid. Met meer dan 100.000 verzoeken ontvangen voor het eerste LLaMA-model, zal de impact van LLaMA 2 nog groter zijn.
Tijdens Het Inspire-evenement van Microsofttoonde Meta niet alleen zijn niet-aflatende ondersteuning voor de Azure- en Windows-platforms van Microsoft, maar liet het ook een bom vallen door LLaMA 2 vrij toegankelijk te maken voor zowel commerciële als onderzoeksdoeleinden. Deze stap was een belangrijke mijlpaal, omdat het een breed scala aan mogelijkheden opende voor bedrijven, startups en onderzoekers om het potentieel van dit baanbrekende taalmodel te benutten.
In vergelijking met zijn voorganger onderging LLaMA 2 substantiële verbeteringen. Doorgetraind 40 procent meer gegevens, inclusief openbaar beschikbare online bronnen, toonde LLaMA 2 superieure prestaties op gebieden als redeneren, coderen, vaardigheid en kennistests, en presteerde het beter dan andere grote taalmodellen zoals Falcon en MPT.
Veiligheid en transparantie voorop stellen
Meta demonstreerde haar toewijding aan veiligheid en transparantie door LLaMA 2 aan strenge eisen te onderwerpen “rode teams” En scherpstellen door tegenspraak. Deze inspanningen hebben ervoor gezorgd dat LLaMA 2 voldoet aan de hoogste veiligheidsnormen en stelt onderzoekers en ontwikkelaars in staat om een duidelijk inzicht te krijgen in de prestaties door middel van transparante evaluatieprocessen.
Toegankelijkheid op verschillende platforms
In overeenstemming met haar inzet voor open-source principes, Meta zorgde ervoor dat LLaMA 2 toegankelijk zou zijn op meerdere platforms. In eerste instantie beschikbaar via Azure van Microsoft, zal LLaMA 2 binnenkort zijn weg vinden naar andere platforms zoals AWS, knuffelend gezicht, En anderen. Deze inclusieve benadering stimuleert brede acceptatie en samenwerking tussen ontwikkelaars en onderzoekers, waardoor de vooruitgang van AI-toepassingen wordt gestimuleerd.
De kracht van een open benadering van AI
Meta’s open-sourcestrategie sluit aan bij het snel evoluerende landschap van generatieve AI-technologie. Door de toegang tot geavanceerde modellen zoals LLaMA 2 te democratiseren, bevordert Meta een samenwerkende gemeenschap van ontwikkelaars en onderzoekers die gezamenlijk het model kunnen testen, potentiële problemen kunnen identificeren en oplossingen kunnen versnellen, wat uiteindelijk de AI-innovatie vooruit kan helpen.
LLaMA 2 versus GPT-4 en PaLM 2
Hoewel LLaMA 2 misschien iets minder krachtig is dan zijn concurrenten, GPT-4 en PaLM 2, zijn zijn open-source karakter en Meta’s nadruk op veiligheid en transparantie belangrijkste onderscheidende factoren. Op LLaMA 2 is getraind twee miljoen penningen, minder dan die van PaLM 2 3,6 miljoen penningen, En het ondersteunt 20 talen, achteraan lopen PaLM 2’s 100 en GPT-4’s 26 talen. De kracht van open-sourcesamenwerking en door de gemeenschap aangestuurde ontwikkeling kan deze verschillen echter compenseren en tot snelle vooruitgang leiden.
Een cruciaal moment voor de ontwikkeling van AI
Meta’s beslissing om LLaMA open-source 2 punten te geven een keerpunt in het AI-landschap. Door dit krachtige taalmodel te maken vrij toegankelijk, Meta stelt ontwikkelaars en onderzoekers in staat om de grenzen van AI-innovatie te verleggen, terwijl veiligheid en transparantie voorop blijven staan. De samenwerking met Microsoft En Qualcomm versterkt de mooie toekomst van AI-toepassingen en belooft naadloze integratie tussen verschillende platforms en apparaten.
Terwijl ontwikkelaars en onderzoekers aan deze reis met LLaMA 2 beginnen en de concurrentie tussen LLaMA 2 en GPT-4 voortduurt, kunnen we verwachten een golf van transformatieve AI-aangedreven tools om te ontstaan, onze interactie met technologie opnieuw vorm te geven. Meta’s toewijding aan openheid schept een precedent voor de gezamenlijke verfijning en benutting van AI-modellen, en maakt de weg vrij voor een nieuwe generatie AI-innovaties die de toekomst van kunstmatige intelligentie zullen vormgeven.
Uitgelichte afbeelding: Credit
Source: LLaMA 2 vs GPT-4: hoe competitief is Meta in de AI-race?