Kleine lettertjes laten voorlezen met Guided Vision van Google: wat het kan

Wat Guided Vision precies doet

Guided Vision is een stand van Gemini Live, de gespreksmodus van Gemini waarin je praat in plaats van typt. Deel je tijdens zo’n gesprek je camera, dan beschrijft Gemini wat er in beeld is en kun je erop doorvragen. Volgens The Verge is de functie gemaakt voor mensen die blind of slechtziend zijn, of die in een bepaalde situatie gewoon even hulp willen bij het kijken. Apple heeft op de iPhone iets vergelijkbaars met Live Recognition in VoiceOver.

Het verschil met een gewone foto aan een chatbot voorleggen zit in de begeleiding. Richt je de camera te hoog, te dichtbij of net naast het etiket, dan zegt Gemini dat hardop. Je hoort dan iets als langzaam naar rechts draaien, iets kantelen of een stap terug doen. Voor iemand die het scherm niet kan zien is dat precies het stuk dat ontbrak, want een foto maken van iets wat je niet ziet is lastiger dan het klinkt.

In de aankondiging van Google staan vier soorten taken.

• Kleine of ingewikkelde tekst voorlezen, zoals voedingswaarden op een verpakking, de knoppen van een apparaat of een menukaart bij weinig licht.
• Iets terugvinden in je directe omgeving, zoals een gevallen oordopje of de peper in een volle kruidenla.
• Kleuren, patronen en vormen beschrijven, handig als je wilt weten of een gestreept shirt bij een broek past.
• Een ruimte of een tafel beschrijven die je niet kent.

Je kunt daarna gewoon doorvragen. The Verge noemt het voorbeeld van een product dat Gemini je eerst helpt vinden, waarna je vraagt wat de houdbaarheidsdatum is. Google heeft de functie ontwikkeld met Aira, een dienst die blinden en slechtzienden op afstand helpt kijken. Meer dan duizend testers uit dat netwerk hebben het model in hun dagelijkse routine uitgeprobeerd.

Zo zet je het aan

Guided Vision werkt op Android-toestellen vanaf Android 9, in landen en talen waar Gemini Live beschikbaar is. Zorg eerst dat de Gemini-app en je systeemsoftware zijn bijgewerkt, want de functie rolt via een update binnen. Daarna zijn er drie wegen.

1. In de Gemini-app open je je profiel en de instellingen, en zet je Guided Vision in Live aan. Start daarna Gemini Live en tik op de knop om je camera te delen.
2. Via de Android-instellingen, onder Toegankelijkheid bij de opties voor zicht, kun je een snelkoppeling maken. Die start je met de zwevende toegankelijkheidsknop, een veeg met twee vingers of door beide volumeknoppen in te drukken.
3. Gebruik je de schermlezer TalkBack, dan tik je met drie vingers voor het TalkBack-menu en kies je daar Guided Vision.

Zie je de schakelaar nog niet staan, dan is de update waarschijnlijk nog niet bij jou aangekomen. Een paar dagen geduld en opnieuw kijken in de Play Store is dan meestal genoeg. Voor iPhone-gebruikers is er nog niets aangekondigd.

Bijsluiters en etiketten laten voorlezen, maar het belangrijke checken

De bijsluiter is waarschijnlijk het voorbeeld waar de meeste mensen aan denken, en daar zit ook meteen de grens. Gemini leest de tekst voor en kan uitleggen wat er staat, maar het blijft een taalmodel dat zich kan vergissen. Een cijfer verkeerd lezen of een regel overslaan is bij een recept vervelend, bij een dosering kan het echt misgaan. Google zegt er zelf bij dat Guided Vision fouten kan maken en geen medisch hulpmiddel is.

Gebruik het voorlezen daarom om te begrijpen wat er op de verpakking staat, en laat de dosering en de waarschuwingen bevestigen door je apotheek of huisarts. Bij de apotheek kun je ook vragen om informatie in grotere letters. Hoe snel een chatbot overtuigend de verkeerde kant op gaat bij gezondheidsvragen, lieten we eerder zien in ons stuk over chatbots die in een verzonnen ziekte trapten.

Dezelfde voorzichtigheid geldt voor allergenen op een etiket. Vraag gerust wat er in een product zit, maar vraag bij een ernstige allergie gericht door (“staat er noten of sporen van noten op de verpakking?”) en laat het zo nodig door iemand anders nalezen.

Waar het niet voor bedoeld is

Hier is Google opvallend duidelijk over. Guided Vision is niet bedoeld voor navigatie, voor begeleiding onderweg of om obstakels te herkennen. Het vervangt geen witte stok, geleidehond of ander mobiliteitshulpmiddel. Een beschrijving van een kamer is iets anders dan een waarschuwing voor een stoeprand, en dat onderscheid moet je als gebruiker zelf bewaken.

Er zijn nog een paar praktische punten om rekening mee te houden.

• Je deelt live camerabeeld met Google. Richt de camera dus niet op een pasje, een brief met je burgerservicenummer of een scherm met inloggegevens als dat niet hoeft.
• Het werkt via internet. Zonder bereik of met een trage verbinding gaat het voorlezen hakkelen of lukt het niet.
• Google noemt testen in onder meer India, Brazilië, Japan en Indonesië. Hoe natuurlijk het Nederlands klinkt en hoe goed de aanwijzingen in het Nederlands zijn, zul je zelf moeten ervaren.

Eerlijk gezegd is dit een van de nuttigste dingen die een chatbot met een camera kan doen. Waar veel AI-functies vooral leuk zijn, lost deze een echt dagelijks probleem op, voor een groep mensen die bij nieuwe technologie vaak als laatste aan de beurt is. Zie het wel als een behulpzame meekijker, niet als iemand die je blind kunt vertrouwen. Voor een etiket, een menukaart of de stand van de wasmachine is dat ruim voldoende.