Reflection 70B doet wat de grote jongens niet kunnen en leert van zijn eigen fouten. Deze AI met open-source taalmodellen heeft mogelijk een tegenmaatregel tegen waanideeën gevonden.
Reflection 70B is gelanceerd door HyperWrite, een startup onder leiding van medeoprichter en CEO Matt Shumer, en is gebaseerd op Meta’s Llama 3.1-70B Instruct. Wat dit model onderscheidt van andere modellen, is de zelfcorrigerende mogelijkheid, een unieke mogelijkheid die de aandacht van de AI-community heeft getrokken.
Ik ben verheugd om Reflection 70B aan te kondigen, het beste open-sourcemodel ter wereld.
Getraind met behulp van Reflection-Tuning, een techniek die is ontwikkeld om LLM’s in staat te stellen hun eigen fouten te herstellen.
405B komt volgende week uit – wij verwachten dat dit het beste model ter wereld zal zijn.
Gebouwd met @GlaiveAI.
Lees verder
: foto.twitter.com/kZPW1plJuo
— Matt Shumer (@mattshumer_) 5 september 2024
Het opvallende kenmerk van Reflection 70B
Shumer kondigde de komst van Reflection 70B aan bij X en benadrukte de superioriteit ervan ten opzichte van andere modellen in de open-sourcemarkt. Hij verklaarde vol vertrouwen dat AI momenteel het beste open-source AI-model is, dat zijn voorgangers overtreft, waaronder de Llama-serie van Meta. Benchmarks zoals MMLU En MenselijkeEval bevestigde ook de hoge prestaties van Reflection 70B, met betere resultaten dan zowel open-source als commerciële alternatieven.
De reden dat Reflection 70B deze resultaten behaalt, en een functie die zijn concurrenten missen, is het vermogen om fouten te detecteren en te corrigeren. Dit is een baanbrekende functie in AI, want hoewel taalmodellen vaak “hallucineren“of valse informatie produceren, kan Shumer’s AI fouten herkennen voordat het een definitief antwoord geeft. Shumer heeft maandenlang over dit concept nagedacht en met dit nieuwe model is het nu werkelijkheid.
Reflection 70B kan zich meten met zelfs de beste closed-source modellen (Claude 3.5 Sonnet, GPT-4o).
Het is de beste LLM in (ten minste) MMLU, MATH, IFEval en GSM8K.
Verslaat GPT-4o in elke geteste benchmark.
Het is een stuk beter dan Llama 3.1 405B. Het komt niet eens in de buurt. foto.twitter.com/win7cHUOob
— Matt Shumer (@mattshumer_) 5 september 2024
De naam Reflection 70B vertegenwoordigt de introspectieve mogelijkheden van het apparaat, omdat het “weerspiegelt” zijn redenering om de nauwkeurigheid van het model te controleren. Het ontwerp bevat speciale pictogrammen die het redeneren en de foutcorrectie verbeteren, waardoor gebruikers effectiever met het model kunnen omgaan. Deze redeneringsprocessen zijn te zien in de vorm van speciale labels die realtime correcties mogelijk maken.
Om de effectiviteit ervan aan te tonen, gebruikers kunnen interacteren met Reflection 70B op een demo-websitemaar er zijn moeilijkheden bij het openen van de site vanwege druk verkeer. Sommige taken, zoals het bepalen welk getal groter is tussen 9.11 en 9.9zijn ontworpen om de precisie van het model uit te dagen. Terwijl veel AI-systemen worstelen met dergelijke query’s, slaagde Reflection 70B erin om ze goed te krijgen, ondanks het feit dat meer dan 60 secondenOndanks de vertraging zorgt dit niveau van redeneren ervoor dat het model zich onderscheidt voor use cases waarbij precisie van cruciaal belang is.
Reflectie 70B is nog maar het begin
Reflection 70B is het eerste model in een groeiende serie. Een nog groter model, de Reflection 405B, zal binnenkort worden uitgebracht. Shumer’s ambitieuze visie voor Reflection-modellen omvat het overtreffen van de mogelijkheden van closed-sourcemodellen zoals OpenAI’s GPT-4. De Reflection 405B zal naar verluidt beter presteren dan de beste gepatenteerde modellen en de grenzen verleggen van wat open-source AI kan bereiken.
Maar Reflection 70B is niet zomaar een op zichzelf staand project. Shumer kondigde ook plannen aan om het model te integreren in HyperSchrijven‘s schrijfassistentplatform. HyperWrite, een Chrome-extensie die gebruikers helpt e-mails op te stellen, tekst samen te vatten en meer, heeft al miljoenen gebruikers. De aankomende integratie van Reflection 70B in dit platform biedt gebruikers een nieuw niveau van nauwkeurigheid en maatwerk, waardoor nog geavanceerder AI-gestuurd typen mogelijk wordt.
Een snel en efficiënt trainingsproces
Training Reflection 70B was geen langdurig proces, dankzij een partnerschap met Glaiveeen startup die gespecialiseerd is in AI-datasets. Glaive’s platform creëert use-case-specifieke datasets, waardoor het makkelijker en sneller wordt om taalmodellen te trainen. In het geval van Reflection 70B leidde deze aanpak ertoe dat het model vijf keer in slechts drie weken werd getraind, een prestatie die mogelijk werd gemaakt door het gebruik van Glaive’s synthetische datageneratiesystemen.
Ik wil heel duidelijk zijn: @GlaiveAI is de reden dat dit zo goed werkte.
De controle die ze je geven om synthetische data te genereren is krankzinnig.
Ik ga ze voor bijna elk model dat ik in de toekomst ga bouwen gebruiken, en jij zou dat ook moeten doen. https://t.co/I789UIa5Yg
— Matt Shumer (@mattshumer_) 5 september 2024
Het bedrijf, opgericht door Sahil Chaudhary, streeft ernaar om datasets van hoge kwaliteit te leveren die modellen snel en kosteneffectief kunnen trainen. Hun succes bij het trainen van kleinere modellen is in het verleden aangetoond. Een 3D-geparametriseerd model presteerde beter dan veel grote open-source concurrenten op bepaalde taken.
Reflectie 70B in actie
De ontwikkeling van het model laat zien hoe belangrijk dit is voor HyperWrite, dat in 2020 werd opgericht als Otherside AI. Oorspronkelijk gevestigd in Long Island, New York, is HyperWrite uitgegroeid van een kleine AI-schrijfassistent tot een platform met meer dan twee miljoen gebruikersHet vroege succes leverde Shumer en medeoprichter Jason Kuperberg een plekje op Forbes’ “30 Under 30”-lijst in 2023.
In maart 2023 verhoogde HyperWrite $2,8 miljoen in financiering van investeerders zoals Madrona Venture Groepwat het bedrijf hielp groeien. Nieuwe functies zoals browserassistenten die taken kunnen uitvoeren zoals het boeken van vluchten of het vinden van sollicitanten op LinkedIn, hebben HyperWrite aan de voorhoede gehouden van door AI aangestuurde persoonlijke assistentie. De integratie van Reflection 70B zal naar verwachting deze functies verbeteren en de positie van HyperWrite in de AI-industrie verder verstevigen.
Reflection 70B zal veranderen hoe we over AI denken. Het combineert precisie en redenering zoals geen enkel ander model dat doet. Het model is nuttig voor taken die een hoge nauwkeurigheid vereisen, maar de potentiële toepassingen zijn veel breder. De aankomende release van Reflection 405B laat zien dat Shumer en zijn team nog steeds hard werken. Naarmate HyperWrite zijn platform beter maakt en nieuwe functies creëert, zal de Reflection-serie waarschijnlijk erg belangrijk zijn. Met Reflection 70B zal het interessant zijn om te zien hoe de AI-community en gebruikers reageren op de unieke mogelijkheden van het model en hoe toekomstige modellen voortbouwen op de basis ervan.
Bron van de hoofdafbeelding: DC Studio / Freepik
Source: Reflection 70B is een AI die zijn eigen fouten kan corrigeren