Google verbetert Gemini Live met visuele overlays die objecten in uw camerafeed en een nieuw audiomodel markeren voor meer expressieve gesprekken. De visuele overlay-functie helpt u items te identificeren of advies te krijgen door een witgekleurde rechthoek rond objecten in het zicht van uw camera te plaatsen. Het nieuwe native audiomodel is ontworpen voor responsieve en expressieve gesprekken.
Tijdens het Google Event van vorig jaar onthulde Google Gemini Live, een functie die is ontworpen voor meer natuurlijke, handsfree gesprekken met zijn AI-chatbot. Sinds het debuut heeft Google talloze upgrades geïntroduceerd in Gemini Live, met name de mogelijkheid om uw camerafeed en -scherm te delen.
Google kondigde een belangrijke verbetering aan van de camera-sharing-mogelijkheden van Gemini Live en een nieuw audiomodel om interacties nog natuurlijker te maken.
Tijdens zijn presentatie over de nieuwe Google Pixel 10 -serie beschreef Google verschillende verbeteringen die naar Gemini Live op Android kwamen. Ten eerste, wanneer u uw camerafeed deelt, kan Gemini Live visuele overlays weergeven om specifieke objecten te markeren. Deze hoogtepunten verschijnen als een rechthoekige rechthoek rond een object, terwijl de rest van de weergave enigszins wordt gedimd om het te laten opvallen.
Deze functie “Visual Guidance” is ontworpen om u te helpen snel items in de weergave van uw camera te vinden en te identificeren. U kunt het bijvoorbeeld gebruiken om de juiste knop op een machine te markeren, op een specifieke vogel in een kudde te wijzen of het juiste hulpmiddel voor een project te identificeren. Je kunt het ook gebruiken voor advies, zoals Gemini vragen om het juiste paar schoenen aan te bevelen voor een gelegenheid.
De functie kan ook meer complexe scenario’s aan. In een briefing deelde een Google -productmanager een persoonlijk voorbeeld van een recente internationale reis. Hij had moeite om erachter te komen of hij op een bepaalde plek kon parkeren, niet in staat was om de buitenlandse tekenen, wegmarkeringen en lokale voorschriften te begrijpen. Nadat hij zijn telefoon tevoorschijn had getrokken en Gemini Live had geopend, richtte hij zijn camera op de scène en vroeg of het parkeren was toegestaan. Gemini keek de lokale regels op, vertaalde de borden en benadrukte vervolgens een plek op straat waar hij de komende twee uur gratis kon parkeren.
Visuele begeleiding in Gemini Live zal buiten de box beschikbaar zijn in de Google Pixel 10 -serie en zullen volgende week beginnen met het uitrollen van andere Android -apparaten. De functie zal de komende weken uitbreiden naar iOS -apparaten. Een Google AI Pro of Ultra -abonnement is niet vereist.
Naast de visuele overlays upgrade Google Gemini Live met een nieuw native audiomodel dat is ontworpen voor meer responsieve en expressieve gesprekken.
Ten eerste zal dit nieuwe model beter reageren op wat u zegt. Als u bijvoorbeeld over een stressvol onderwerp aan het chatten bent, reageert het met een rustiger, meer “gemeten” stem.
Google zegt dat u ook kunt bepalen hoe het nieuwe audiomodel tot u spreekt. Als je problemen hebt met het bijhouden van wat Gemini bijvoorbeeld zegt, kun je het vragen om langzamer te spreken. Of als je haast hebt, kun je het vragen om dingen te versnellen.
Ten slotte kun je het zelfs krijgen om je een dramatisch verhaal te vertellen vanuit het perspectief van een historische figuur. “Vraag Gemini om je te vertellen over het Romeinse rijk vanuit het perspectief van Julius Caesar zelf, en krijg een rijk, boeiend verhaal compleet met karakteraccenten,” zegt Google in zijn blogpost.
De nieuwe visuele overlaysfunctie van Gemini Live is beter geschikt voor Android XR -bril, maar het is leuk om het nu beschikbaar te hebben op mobiel, omdat we nog steeds behoorlijk verwijderd zijn van het krijgen van die bril.
Dit artikel is om 19:50 uur ET bijgewerkt om de sectie over het natuurlijke audiomodel te corrigeren en demo -activa toe te voegen uit het blogbericht van Google.
Source: Google Gemini Live voegt visuele overlays en een nieuw audiomodel toe
