Immersive Medien liegen im Trend: VR-Brillen befördern uns auf den Meeresgrund, lassen uns Teil einer Mars-Expedition sein oder simulieren uns Welten und Räume, die uns sonst verborgen geblieben wären. Selbst das eigene Smartphone und die Handykamera können mittlerweile kurzerhand die Umgebung virtuell erweitern. Augmented und Virtual Reality verbinden wir zumeist noch mit visuellen Inhalten. Wie aber wäre es, wenn uns zum dem historischen Gebäude, in dem wir uns gerade  befinden, interessante Hintergrundfakten ins Ohr gesprochen werden würden? Oder die Fremdsprache auf der nächsten Urlaubreise simultan im Ohr übersetzt werden würde?

AR-fähige Hearables

In Zeiten von Alexa, Earbuds und Siri sind wir mit den Möglichkeiten innovativer Hör- und Sprachgadgets schon bestens vertraut. Global Player wie Bose, Sony und Valencell stecken bereits mitten in den ersten Testreihen zu rein hörbasierten Anwendungen.  Augmented Reality, also die Erweiterung der physikalischen „echten“ Welt um virtuelle „künstliche“ Elemente erfolgt dabei eben nicht über eine Kamera und einen Bildschirm sondern über Aufnahme- und Tonwiedergabegeräte wie Kopfhörer, Mikrofone und Lautsprecher. Diese sogenannten Hearables (eine Zusammensetzung aus dem englischen Begriff für „tragbar“ (wearable) und „hören“ (hear), sind die Basis für audiobasierte Augmented Reality. Dabei werden Audio-Elemente mit Hilfe von computergeneriertem, sensorischem Input verändert oder erweitert. Die dazu notwendigen Hearables sind kleine, dem Ohr angepasste Computer, die mit smarten Funktionen wie einer Drahtlosverbindung, einem Zugang zum Internet und verschiedenen Sensoren und Überwachungssystemen ausgestattet sind.

Laut einem Bericht von Markets and Markets wird die Nachfrage im Bereich von intelligenten Hearables in den nächsten Jahren stetig ansteigen. Der Markt wird bis 2023 auf 23,24 Milliarden US-Dollar geschätzt, was einer jährlichen Wachstumsrate von 9,98% von 2017 bis 2023 entspricht. Diese Entwicklungen führen die Forscher auf die zunehmenden Möglichkeiten in der Verwendung tragbarer Geräte und mobilen, insbesondere auch sprachbasierten Technologien zurück.  Doch was gibt es diesbezüglich eigentlich schon? In welcher Verbindung stehen Augmented Reality und Hearables bereits? Und welche Potenzielle bieten Augmented Audio Reality-Anwendungen noch für die Zukunft?

Mehr AR als man denkt – der aktuelle Markt

Geräuschunterdrückende Kopfhörer

Neben rein visuell ausgelegten AR/VR-Apps, mit denen wir zum Beispiel das neue paar Schuhe digital anprobieren oder die Ikea-Möbel einmal in der eigenen Wohnung testen können, hält der Markt bereits seit einigen Jahren schon rein auditorische Augmented Reality-Produkte bereit. Ein einfaches Beispiel: Kopfhörer mit Geräuschunterdrückung.  Die Technologie basiert auf einer künstlichen Intelligenz, die den eingehenden Geräuschpegel (wie Musik vom Smartphone) den Umgebungstönen anpasst und gleichzeitig kurze, laute und flüchtige Störgeräusche, wie einen bellenden Hund, ein schreiendes Kind oder die penetrante Durchsage in der S-Bahn automatisch entfernt. Die Kopfhörer sind dafür mit einem separaten Audiokanal ausgestattet. Bestimmte Sensoren erfassen den Zielton und die Hintergrundgeräusche separat voneinander und entsprechende Algorithmen extrahieren das gewünschte Audio von den extern eingehenden Geräuschen. Die Nutzer können diese Funktion auf Knopfdruck aktivieren und deaktivieren.

Intelligente Hörgeräte

Auch Hörgerätehersteller nutzen diese Form der Technologie und statten ihre Hearables mit Funktionen wie einer Richtungsbestimmung, Tinnitus-Maskierung und Windgeräuschunterdrückung aus. Entsprechend der unterschiedlichen Alltagssituationen und Lebensbedingungen passen sich die Hörgeräte den Gewohnheiten ihrer Träger an — von ruhigen Gesprächen über geschäftliche Meetings bis hin zu Gruppengesprächen und Unterhaltungsmedien

Für besonders aktive und technikaffine Personen bietet beispielsweise der Hersteller Valencell auch Hörgeräte, die die Herzfrequenz und die Sauerstoffaufnahme messen und im Zusammenspiel mit Fitnesstrackern die Gesundheit überwachen und Trainingsratschläge geben können.

Unternehmen wie Starkey und ReSound haben ihre Hörgeräte direkt mit modernen, KI-basierten Sprachassistenten wie Google Assistant und Alexa  verknüpft, die die Präferenzen des Hörgeräteträgers verarbeiten und je nach Standortdaten unterschiedliche Hörprogramme vorschlagen. Der Nutzer kann dann über Sprachbefehle, Smartphoneingaben oder Kopfbewegungen die Einstellungen des Hörgerätes, beispielsweise von „Fernsehprogramm Zuhause“ auf „Restaurant“ wechseln. Selbstverständlich sind die AR-basierten Geräte auch in der Lage Musik zu streamen oder Telefonate zu übertragen.

Simultanes Dolmetschen

Eine weitere Möglichkeit der Anwendung von AR-fähigen Hearables ist das simultane Übersetzen. Was im ersten Moment noch nach Science Fiction klinkt, hat das amerikanische Start-Up- Unternehmen Waverly Labs bereits 2016 mit seinem Kopfhörer „Pilot“ in die Tat umgesetzt. Die New Yorker Firma vereint dabei Technologien wie Spracherkennung und maschinelle Übersetzung mit maschinellem Lernen und Sprachsynthese. In der Standardausführung sind die Ohrstöpsel im Doppelpack erhältlich — ein Paar für jeden Gesprächspartner. Die Worte des einen werden aufgenommen und die Übersetzung dazu (im Optimalfall simultan) dem anderen ausgegeben. Leider zeigten Testberichte, dass Zeitverzögerungen von mehreren Sekunden und gewöhnungsbedürftige Übersetzungen durch Kontext- und Grammatikfehler noch kein flüssiges Gespräch ermöglichen. Trotzdem: In Ear-Kopfhörer mit integriertem Sprachenübersetzer können nicht nur im Urlaub, sondern auch bei Konferenzen oder auf Tagungen eine große Hilfe sein – rein auditive Augmented Reality, auf die wir in Zukunft gespannt sein dürfen.

Konzerte und Festivals virtuell erleben

Augmented Reality Anwendungen, die vor allem den Hörsinn ansprechen, können auch die moderne Unterhaltungselektronik revolutionieren. Ein spannendes, multidisziplinäres Forschungsprojekt in diesem Bereich war die Augmented Reality-Installation „Acoustics’17“, die 2017 in Boston stattgefunden und die Kathedrale Notre Dame zum Thema gemacht hat.  Dabei haben die Wissenschaftler Aufnahmen eines vergangenen Konzerts mit rechnergestützten, raumakustischen Simulationen und Architektur-3D-Renderings des Inneren der Kirche kombiniert. Die 360-Grad –Anwendung ermöglicht es durch die Kombination von virtueller Nachstellung und 3D-Audio die komplexe Akustik der gotischen Kathedrale von überall aus zu erleben. Das Video ist auf YouTube erhältlich. 

Konzerte und Festivals sind ein heißes Thema im Bereich der Augmented Audio Reality. Bose hat 2019 beim kalifornischen Coachella Festival in Zusammenarbeit mit den Entwicklern der App zur Veranstaltung eine AR-Sonnenbrille vorgestellt.  Das Besondere: das smarte Accessoire war in der Lage, dem Träger über im Bügel eingelassene Kopfhörer bestimmte Informationen zuzuflüstern. Beim Coachella Festival wurden ausgewählten Markenbotschaftern exklusive Audioinhalte  oder eine Erinnerung für den Beginn des Auftrittes der Lieblingskünstler zugespielt.

Bose verfolgte die Vision, mithilfe von GPS, Bewegungssensoren und Mikrofon, das Leben virtuell mit Audio zu erweitern. Die Brille konnte selbstständig erkennen, dass ihr Träger gerade ein Restaurant anschaut und im Umkehrschluss Bewertungen aus Google Maps vorlesen. Leider wurde das Projekt nicht zu dem, was sich Bose erhofft hat.  Erst im Juni dieses Jahres wurde das Team aufgelöst – die AR-Funktion war zwar interessant, leider aber für den alltäglichen Gebrauch ungeeignet.

Audiobasierte Augmented Reality in der Zukunft

Augmented Reality ist aktueller denn je und längst nicht mehr nur auf das Visuelle beschränkt.  Mit AR kombinierte Hearables sind in Form von smarten Kopfhörern und Hörgeräten längst in unserem Alltag angekommen.

Funktionen, die über eine intelligente Geräuschunterdrückung hinausgehen, bieten sehr viel Potenzial, sind aber noch nicht vollkommen ausgereift. Wäre es nicht auch praktisch, wenn nicht nur höreingeschränkte Personen sondern potenziell jeder über einen kleinen Knopf im Ohr einen Anruf annehmen, Umweltgeräusche entsprechend der eigenen Klangvorlieben anpassen oder an den nächsten Termin erinnert werden könnte?  Insbesondere das maschinelle, simultane Dolmetschen könnte die Kommunikation sowohl auf der Arbeit mit internationalen Geschäftspartnern als auch im Privaten auf der nächsten Reise mit den Locals enorm erleichtern.

Audiobasierte Augmented Reality steckt in einigen Belangen zwar noch in den Kinderschuhen, ist jedoch längst keine Zukunftsmusik mehr.