Onderzoekers van Caltech hebben een manier gevonden om blinden en slechtzienden te helpen bij het navigeren door de wereld. Het gaat om een systeem dat augmented reality (AR) combineert met beeldherkenningsalgoritmes, waardoor objecten gaan ‘praten’, meldt Caltech op zijn website.
Het systeem heet CARA – Cognitive Augmented Reality Assistant – en gebruikt een HoloLens van Microsoft en eigen technologie. CARA kan je omgeving scannen en individuele objecten als een laptop of een tafel herkennen. Ieder object krijgt een stem en ‘zegt’ zijn naam als de gebruiker er om vraagt.
Pratende objecten
De technologie gebruikt zogenaamde spatialized sound, waardoor het geluid veranderd op basis van de locatie in de kamer. Bevindt een object zich bijvoorbeeld links, dan klinkt zijn ‘stem’ ook alsof deze van links komt. Hoe dichterbij je een object komt, hoe hoger de ‘stem’ wordt.
Om te voorkomen dat alle objecten tegelijkertijd beginnen te praten, zijn er verschillende modi in CARA. Eentje is een spotlight mode, waarbij een object alleen zijn naam zegt als je er direct tegenover staat. Draai je je hoofd, dan zeggen de objecten hun naam als je blik er langs komt. Daardoor kun je dus ook als slechtziende ‘rondkijken’ en je omgeving verkennen.
Een tweede modus is de scan mode, waarbij de omgeving van links naar rechts gescand wordt en objecten hun namen in die volgorde zeggen. De derde modus is target mode, waarbij je zelf een van de objecten kunt kiezen die als enige praat en dit object kunt gebruiken om te navigeren.
Testroute
De onderzoekers hebben als test een route voor blinde vrijwilligers opgesteld door het Beckman Behavioral Biology-gebouw in Caltech. De route werd eerst opgezet door de wetenschappers en gevolgd met de HoloLens, die de omgeving scande en opsloeg in het geheugen.
Vervolgens werden de vrijwilligers gevraagd om te navigeren met CARA als gids. Als een vrijwilliger begon riep een ‘stem’ van verder op de route “volg mij”. Daarbij vertelde de stem ook details over de trap, leuningen, bochten die je moet maken en meer. Alle zeven vrijwilligers wisten de taak bij de eerste poging succesvol uit te voeren.
CARA zit nu nog in een vroeg stadium, maar kan ooit beschikbaar gemaakt worden in bijvoorbeeld banken, supermarkten en musea. Onderzoekers verbeteren het systeem nu al met onder meer real-time identificatie van objecten en voetgangers.