Eye Music

Von Pixeln zu Tönen

Via Smartphone Farben und Formen hören

von heise online

Ein neues System der Echolokation setzt Bildinformation in hörbare Klanglandschaften um, und das nun mit handlicher Technik: einer Kamera am Brillengestell, Stereo-Kopfhörern und einem Smartphone. Selbst Sehende können mit dem System arbeiten.

Fledermäuse und Delfine können es – und mit viel Übung auch manche Blinde: aus dem Echo eines Klicklauts ihre Umgebung erkennen. Doch die meisten Menschen hören aus Umgebungsgeräuschen nur ungefähre Hinweise heraus. Das wollen israelische Forscher nun mit Hilfe von Technik ändern. Sie setzen Kamera-Bilder in Klanglandschaften um, die übers Ohr nicht nur Distanzen und Formen, sondern auch Farben und Materialien vermitteln können.

Eine einfache Kamera am Brillengestell liefert die Bilder, die das `EyeMusic`-System in Klänge umwandelt. So kann der Proband unter den Äpfeln auf dem Teller den roten erkennen.

Mit ihrem `EyeMusic`-System, das im Vorjahr bereits erste Tests bestand, sind selbst Gesichtsausdrücke und Körperhaltungen grob zu erkennen. In Kombination mit Kamera und Kopfhörer ist der Algorithmus sogar auf Smartphones einsetzbar. Schon nach wenigen Stunden Übung konnten blinde Testpersonen verschiedene Grundformen und Farben heraushören. Das selbe gelang auch sehenden Probanden mit einer Augenbinde. SO schreibt das Team im Fachblatt `Restorative Neurology and Neuroscience`.

Was dabei im Gehirn geschieht, enthüllt ihr zweiter aktueller Bericht im Magazin `Current Biology`. Hirn-Scans beweisen, dass ein solches "Sehen über das Ohr" tatsächlich die visuellen Areale im Gehirn beschäftigt!

Teure und unhandliche Technik abgelöst

"Wir zeigen, dass es möglich ist, die grundlegenden Elemente von Formen per `EyeMusic` zu kodieren." erklärt Amir Amedi von der Hebrew University in Jerusalem. "Zudem ist der Erfolg beim Assoziieren von Farbe und musikalischem Timbre sehr viel versprechend."

Diese Kombination könnte künftig helfen, auch komplexere Formen über das Ohr zu identifizieren. Amedi und Kollegen nutzen für ihr System das Prinzip der sensorischen Substitution. Dabei wird ein Sinnesreiz – hier das Sehen – durch einen anderen – etwa Hören oder Fühlen – ersetzt. Entsprechende Geräte, so genannte SSDs (für `sensory substitution devices) sind zwar seit längerem bekannt, waren bisher aber unhandlich, teuer und nur auf die Formen beschränkt. Amedis Team hingegen nutzt eine Kamera am Brillengestell, Stereo-Kopfhörer und ein handelsübliches Smartphone. Dieses System kann detaillierte Umgebungsinformationen in "akustische Landschaften" verwandeln. Zunächst kamen die Bilder einer einfachen Schwarzweiß-Kamera mit 60 × 60 Pixeln Auflösung zum Einsatz.

Bildpunkte und passende Töne

Das `EyeMusic`-System schrumpft die Bildgröße zunächst auf 40x24 Pixel und reduziert die Farbinformation auf sechs Grundfarben oder Schwarzweiß. Die X-Achse des Bildes entspricht der Zeitachse der Tonspur. Ebenso wird die Y-Achse des Bildes auf die Tonhöhe übertragen. Pixel oben im Bild klingen in höherer Frequenz als solche unten im Bild.

Diese Bildpunkte setzt der `EyeMusic`-Algorithmus in passende Töne um. Dies berichtet Kollegin Ella Striem-Amit. "Denken Sie an eine diagonale Linie von links oben nach rechts unten. Wenn wir eine absteigende Tonleiter nutzen, erhält man eine gute Vorstellung davon."

Je höher der Punkt im Bild, desto höher der zugehörige Ton – während das Timing der Töne den horizontalen Abstand wiedergibt. Punkte links sind früher zu hören als solche rechts.

Liefert eine Kamera hingegen Farben, so steckt diese Information im Typ der Musikinstrumente, die zum Einsatz kommen. Trompetenklang bedeutet blau, Violinen gelb, Holzblasinstrumente grün, Klavier rot und Gesang weiß. Schwarz wird durch Stille repräsentiert.

Klanglandschaften interpretieren

Solche Klanglandschaften konnten die Versuchspersonen in Amedis `Center for Human Perception and Cognition` bereits nach zwei bis drei Stunden Übung gut interpretieren. Das galt nicht nur für blinde und sehbehinderte Probanden, denen ein besonders scharfes Gehör nachgesagt wird, sondern auch für Sehende. Diese Kontrollgruppe bekam lediglich die Augen verbunden. Überraschenderweise lernte sie die Klanglandschaften aus dem Kamerasystem aber ähnlich schnell zu interpretieren.

Die SSDs funktionieren also unabhängig von der Art der Sehstörung und sind ohne aufwändige Operation zu nutzen. Auch deshalb scheinen sie derzeit die bessere Lösung im Vergleich zu technischen Netzhaut-Implantaten zu sein, an denen Forschergruppen weltweit arbeiten.

Verarbeitung in der "Seh-" und nicht in der "Hör-Rinde"

Was beim "Bilder hören" im Gehirn vor sich geht, betrachtete die zweite Studie der Jerusalemer Forscher. Die Scans funktioneller Magnetresonanztomographen zeigten, dass die akustischen Signale des `EyeMusic`-Systems nicht in der so genannten Hör-Rinde des Gehirns, sondern tatsächlich in der Seh-Rinde verarbeitet werden. Die Unterschiede von Körperformen zu Texturen, Objekten und Gesichtern zeigten sich nicht im Temporallappen (für das Hören) oder dem Somatosensorischen Cortex (für das Fühlen), sondern nur im visuellen Cortex, also speziell in jenem Areal namens `EBA`, das für die Wahrnehmung von Körpern verantwortlich ist. Diese Hirnregion wurde nach ausführlichem Training selbst bei Menschen aktiv, die von Geburt an blind waren und so kaum Erfahrung mit Körperformen hatten.

Das beweist, so Amedi, dass das Gehirn nicht starr eintreffende Sinneseindrücke verarbeitet, sondern flexibler sei als bisher gedacht. "Es legt nahe, dass Hirnareale zum Verarbeiten visueller Information auch bei Blinden `geweckt` werden können, wenn man passende Technologien und Trainingsansätze nutzt.“

`EyeMusic` kann bei iTunes heruntergeladen werden.


Navigation:

Zurück zur &UUml;bersicht