Vicuna-13B AI-chatbot is geïntroduceerd als een open-source chatbot die is getraind met behulp van fine-tuning LLaMA met door gebruikers gedeelde gesprekken verzameld van ShareGPT. Deze chatbot heeft een voorlopige evaluatie ondergaan met GPT-4 als benchmark, waaruit blijkt dat hij een kwaliteit van meer dan 90%* behaalt in vergelijking met andere populaire chatbots zoals OpenAI ChatGPT en Google Bard. Vicuna-13B presteert ook beter dan andere modellen, zoals LLaMA en Stanford Alpaca, in meer dan 90%* van de gevallen.
Ondanks dat hij bijna twee keer zo groot is als Stanford Alpaca, kost Vicuna-13B slechts ongeveer $ 300, wat de helft is van Alpaca. Dit komt omdat de ShareGPT-gegevens, waaruit Vicuna wordt getraind, open toegankelijk zijn, terwijl Stanford zijn eigen gegevens genereerde via de OpenAI API. Daarom maakt Vicuna alleen opleidingskosten. Net als bij het Stanford-model wordt de Vicuna-13B alleen voor niet-commerciële doeleinden beschikbaar gesteld.
Volgens het team achter Vicuna heeft de chatbot aanzienlijk beter gestructureerde en gedetailleerdere antwoorden laten zien dan Alpaca tijdens benchmarkvragentests na te zijn afgestemd met ShareGPT-gegevens. Het team stelt dat de kwaliteit van de antwoorden van de Vicuna-13B AI-chatbot vergelijkbaar is met die van ChatGPT.
GPT-4 kan de output van verschillende chatbots vergelijken, maar de methode wordt door het Vicuna-13B AI-chatbotteam als “niet-wetenschappelijk” beschouwd en verder onderzoek is nodig – Afbeelding: LmSys
Om de prestaties van de Vicuna-13B AI-chatbot verder te evalueren, gebruikt het team GPT-4, het nieuwste model van OpenAI. GPT-4 stelt het team in staat om consistent verschillende chatbots op een gedetailleerde manier te rangschikken en te scoren, waardoor een uitgebreidere beoordeling van de mogelijkheden van Vicuna wordt verkregen.
Wat is Vicuna-13B AI-chatbot?
Vicuna is een open-source chatbot die is verfijnd met behulp van ongeveer 70.000 door gebruikers gedeelde gesprekken die zijn verkregen van ShareGPT.com via openbare API’s. De Vicuna-13B AI-chatbot is gebaseerd op LLaMA, dat is verfijnd om de prestaties te optimaliseren. Om de gegevenskwaliteit te waarborgen, heeft het onderzoeksteam het HTML-formaat weer omgezet naar markdown en ongepaste of slechte voorbeelden verwijderd. Bovendien segmenteerden ze lange gesprekken in kleinere delen die pasten bij de maximale contextlengte van het model.
Het onderzoeksteam ontwikkelde verschillende verbeteringen aan het Alpaca-trainingsrecept van Stanford om de prestaties van Vicuna te verbeteren. Deze verbeteringen omvatten:
- Geheugen optimalisaties: Het team breidde de maximale contextlengte uit van 512 in Alpaca naar 2048, wat een beter begrip van lange gesprekken mogelijk maakte. Dit resulteerde echter in een aanzienlijke toename van de GPU-geheugenvereisten. Om dit te verminderen, gebruikte het team gradiëntcontrolepunten en flitsaandacht om de geheugendruk te beheersen.
- Gesprekken met meerdere rondes: Het team paste het trainingsverlies aan om rekening te houden met gesprekken met meerdere rondes en berekende het fijnafstemmingsverlies alleen op basis van de output van de chatbot.
- Kostenbesparing via Spot Instance: Trainen met een 40x grotere dataset en 4x reekslengte vormde een aanzienlijke kostenuitdaging. Om de kosten te verlagen, gebruikte het team door SkyPilot beheerde spot, die gebruik maakte van goedkopere spotinstanties met automatisch herstel voor voorkooprechten en automatische zonewisseling.
De verschillende optimalisaties die aan Vicuna zijn aangebracht, stellen de chatbot in staat om complexe gesprekken beter te begrijpen en erop te reageren. Bovendien maken de kostenbesparende strategieën Vicuna een meer betaalbare optie voor ontwikkelaars en onderzoekers die chatbotsystemen bouwen.
Om de Vicuna-13B AI-chatbot te trainen, verzamelde het onderzoeksteam ongeveer 70.000 gesprekken van ShareGPT.com, een platform waarop gebruikers hun ChatGPT-gesprekken kunnen delen. De trainingsscripts van Alpaca zijn aangepast om lange reeksen en gesprekken met meerdere rondes beter aan te kunnen. Het team gebruikte PyTorch FSDP op acht A100 GPU’s om Vicuna in slechts één dag te trainen.
De demo-implementatie maakte gebruik van een lichtgewicht gedistribueerd serversysteem dat meerdere modellen kon bedienen met behulp van gedistribueerde werkers. Dit systeem ondersteunt flexibele GPU-worker-plug-ins van zowel cloudgebaseerde als on-premise clusters. Om de servicekosten te verlagen, gebruikte het team een fouttolerante controller en beheerde spotfuncties in SkyPilot, die gebruikmaken van goedkopere spotinstanties uit meerdere clouds.
Hoe Vicuna-13B AI-chatbot gebruiken?
U kunt de Vicuna-13B AI-chatbot uitproberen door deze stappen te volgen:
- Ga naar lmsys.org
- Kies “vicuna-13b” in het vervolgkeuzemenu
- Hieronder ziet u een vak met de tekst “Voer tekst in en druk op ENTER”
- Vraag wat je wilt en klik op uploaden.
Dat is het! Het is vermeldenswaard dat de huidige versie van Vicuna een demomodel is en dat de originele versie mogelijk andere functies heeft. Daarom moeten gebruikers er rekening mee houden dat de prestaties en mogelijkheden van de uitgebrachte versie kunnen verschillen van die van het demomodel.
Desalniettemin biedt het demomodel waardevolle inzichten in de potentiële mogelijkheden van de Vicuna-13B AI-chatbot en dient het als een veelbelovend voorbeeld van de mogelijkheden van open-sourcetools.
Hoe goed is de Vicuna-13B AI-chatbot?
Het bedrijf presenteerde de antwoorden van Alpaca en Vicuna op hun benchmarkvragen. Na het verfijnen van Vicuna met 70.000 door gebruikers gedeelde ChatGPT-gesprekken, werd ontdekt dat Vicuna in staat is om meer gedetailleerde en beter gestructureerde antwoorden te genereren dan Alpaca. De kwaliteit van de antwoorden van de Vicuna-13B AI-chatbot is vergelijkbaar met die van ChatGPT.
Hieronder ziet u de voorbeeldprompts en -antwoorden van beide modellen, gedeeld in de documentatie:
Vicuna-13B AI-chatbot: “Aloha, medereizigers! Als u op zoek bent naar een tropisch paradijs met een rijke cultuur en adembenemende landschappen, hoeft u niet verder te zoeken dan Hawaï. Mijn recente reis naar de staat Aloha was een onvergetelijk avontuur, vol opwindende culturele ervaringen en must-see attracties.
Eerst en vooral werd ik weggeblazen door de warme en gastvrije geest van het Hawaiiaanse volk. Vanaf het moment dat ik aankwam, voelde ik me thuis en werd ik met open armen ontvangen door de lokale bevolking. Of het nu het hotelpersoneel was, mijn gids of de vriendelijke vreemdelingen die ik op straat ontmoette, iedereen die ik tegenkwam, wilde graag hun liefde voor hun thuisstaat delen.
Een van de meest gedenkwaardige culturele ervaringen die ik had, was het bijwonen van een traditionele Hawaïaanse luau. Tijdens dit feestelijke evenement werd ik getrakteerd op een heerlijk feestmaal uit de lokale keuken, waaronder poi, laulau en kalua-varken, terwijl ik luisterde naar het hypnotiserende ritme van de hula. De dansers, gekleed in prachtig inheems gewaad, vertelden door middel van hun bewegingen verhalen over de eilanden en hun geschiedenis. Het was echt een magische avond waardoor ik contact kon maken met het rijke erfgoed van Hawaï.
Een andere must-see attractie waar ik ontzag voor had, was de adembenemende schoonheid van het Haleakala National Park. Het park beschikt over een slapende vulkaan, de grootste op het eiland, die een prachtige zonsopgang of zonsondergang biedt. Toen de zon boven de horizon opkwam, werd ik getroffen door de levendige kleuren en de grimmige schoonheid van het landschap. Het was een ervaring die me echt nederig maakte en die ik nooit zal vergeten.
Een reis naar Hawaï is natuurlijk niet compleet zonder wat tijd op het strand door te brengen. Met zijn kristalheldere water, gouden zand en zachte golven was Wailea Beach de perfecte plek om te ontspannen en te genieten van de zon. Of je nu een fervent surfer bent, een strandliefhebber of gewoon wilt ontspannen, de stranden van Hawaï zullen zeker je hart stelen.
Kortom, Hawaï was een waar paradijs dat al mijn verwachtingen overtrof. Vanaf het moment dat ik uit het vliegtuig stapte, werd ik ondergedompeld in een cultuur die rijk, levendig en vol leven was. Met zoveel must-see attracties en onvergetelijke ervaringen is Hawaï de perfecte bestemming voor elke reiziger die op zoek is naar een beetje avontuur, cultuur en ontspanning. Mahalo voor het lezen, en ik hoop je snel in Hawaï te zien!”
Vergeet niet onze ChatGPT-promptvergelijking te bekijken als je het leuk vindt om AI-chatbots te onderzoeken!
Conclusie
Vicuna-13B AI-chatbot is een veelbelovende open-sourcetool die indrukwekkende mogelijkheden laat zien in het genereren van goed gestructureerde en gedetailleerde antwoorden, en in veel gevallen beter presteert dan sommige van de bestaande modellen. Met meerdere taalmodellen die worden getraind voor verschillende chatbots, ziet de toekomst van conversationele AI er steeds interessanter uit.
Het potentieel voor chatbots om de klantenservice te verbeteren, gepersonaliseerde ervaringen te bieden en verschillende taken te vergemakkelijken is enorm, en Vicuna getuigt van de kracht van open-source samenwerking bij het verleggen van de grenzen van chatbottechnologie. Naarmate het onderzoek op dit gebied zich blijft ontwikkelen, kunnen we nog meer opwindende verbeteringen verwachten in de mogelijkheden van chatbots.
Source: Wat is Vicuna-13B AI-chatbot en hoe deze te gebruiken?