Maxime Alexandre Beck
Alle Arbeiten

Smart Glasses

Eine KI-Brille, die blinden Menschen ihre Umgebung beschreibt.

3D-Rekonstruktion des Prototyps, modelliert und gerendert in Blender.

Ein funktionsfähiger Prototyp: Eine Kamera an der Brille fotografiert die Umgebung, ein Sprachmodell beschreibt das Bild, und die Beschreibung wird über einen Knochenschall-Kopfhörer vorgelesen – so bleiben die Ohren frei für Umgebungsgeräusche.

Kontext
Teamprojekt (3 Personen) im Redesign-Kurs, HfG Schwäbisch Gmünd
Rolle
Konzept, Hardware, Software, 3D-Visualisierung
Werkzeuge
Raspberry Pi 4, Node.js, OpenAI Vision & TTS, Blender
Jahr
2024

Leitfrage

„Wie kann Technik blinden Menschen nicht nur Hindernisse melden, sondern vermitteln, wie eine Umgebung aussieht und wirkt?“

Vorgehen

Die Case Studies sind nach dem Double Diamond gegliedert: erst das Problem verstehen und schärfen, dann Lösungen entwickeln und umsetzen.

DISCOVERDEFINEDEVELOPDELIVER

  1. Discover

    Verstehen

    • Analyse bestehender Hilfsmittel
    • Abgrenzung Orientierung vs. Wahrnehmung

    Lücke: Hilfsmittel helfen bei Orientierung, nicht beim Erleben einer Umgebung.

  2. Define

    Definieren

    • Recherche: Stufen und Formen der Sehbeeinträchtigung
    • Gestaltungsziele formulieren
    • Nutzungskontexte: draußen und drinnen

    Vier Gestaltungsziele für ein tragbares System.

  3. Develop

    Entwickeln

    • Systemarchitektur als Pipeline
    • Prompt-Design für blinde Nutzende
    • Interaktionskonzept mit zwei Modi

    Ein System, dessen Verhalten über den Prompt gesteuert wird.

  4. Deliver

    Umsetzen

    • Prototyp aus Standardkomponenten
    • Node.js-Server mit OpenAI API
    • 3D-Rekonstruktion in Blender

    Funktionsfähiger, tragbarer Prototyp.

Discover

Verstehen

Ausgangslage

Mehr als Hindernisse erkennen.

Hilfsmittel für blinde Menschen konzentrieren sich meist auf Orientierung: Stock, Vibration, Warnton. Die Smart Glasses sollten zusätzlich vermitteln, wie eine Umgebung aussieht und wirkt – Szenerie, Stimmung, Menschen –, um soziale Teilhabe zu erleichtern.

Entstanden ist ein tragbarer Prototyp aus handelsüblichen Teilen: eine Schutzbrille als Träger, eine Kamera, ein Raspberry Pi und ein Knochenschall-Kopfhörer, der die Ohren für Umgebungsgeräusche frei lässt.

Define

Definieren

Recherche

Sehbeeinträchtigung ist nicht gleich Sehbeeinträchtigung.

Blind heißt selten, gar nichts zu sehen. In Deutschland gilt als sehbehindert, wer trotz Brille höchstens 30 Prozent Sehschärfe hat, als hochgradig sehbehindert ab 5 Prozent und als blind ab 2 Prozent – oder wenn das Gesichtsfeld entsprechend stark eingeschränkt ist. Viele blinde Menschen nehmen also noch Licht, Umrisse oder Bewegung wahr.

Ebenso wichtig ist, wie jemand sieht: Bei der Makuladegeneration fehlt die Bildmitte, beim Glaukom der Rand, beim Grauen Star ist alles trüb. Und es macht einen Unterschied, ob jemand von Geburt an blind ist oder das Sehen erst später verloren hat – davon hängt ab, ob eine Beschreibung mit Farben und Perspektive arbeiten kann. Diese Unterschiede bestimmen, welche Beschreibung hilfreich ist, und prägten das Prompt-Design.

Normales Sehen

Sehschärfe 100 %

Sehbehinderung

Sehschärfe höchstens 30 %

Hochgradige Sehbehinderung

Sehschärfe höchstens 5 %

Blindheit

Sehschärfe höchstens 2 % – Licht und Umrisse bleiben oft

Stufen nach Sehschärfe, wie sie in Deutschland unterschieden werden – vereinfacht als Unschärfe dargestellt. Die Schaubilder sind nachträglich für dieses Portfolio entstanden; echtes Sehen mit Beeinträchtigung ist individuell und lässt sich nur annähernd simulieren. Foto: Martin Dürrschnabel, gemeinfrei (Wikimedia Commons).

Grauer Star (Katarakt)

Die Linse trübt sich: alles verschwommen, blass und blendend.

Grüner Star (Glaukom)

Der Sehnerv wird geschädigt: Ausfälle im Gesichtsfeld, oft vom Rand her.

Makuladegeneration (AMD)

Genau dort, wo man hinschaut, ist nichts zu erkennen; der Rand bleibt.

Diabetische Retinopathie

Geschädigte Netzhautgefäße: verstreute Ausfälle, verschwommenes Bild.

Retinitis pigmentosa

Erst Nachtblindheit, später Sehen wie durch eine Röhre.

Hemianopsie

Halbseitiger Ausfall des Gesichtsfelds, etwa nach einem Schlaganfall.

Häufige Ursachen und wie sie das Sehen verändern, nach Angaben der Blinden- und Sehbehindertenverbände (DBSV, BSV Württemberg) – vereinfachte Simulation derselben Szene, jeweils im fortgeschrittenen Stadium.

Gestaltungsziele

Was die Brille leisten sollte.

  1. Beschreiben statt warnen

    Szenerie, Stimmung und Menschen vermitteln – nicht nur Hindernisse.

  2. Nicht isolieren

    Ausgabe über Knochenschall, damit Betroffene in der Öffentlichkeit nicht von der akustischen Umgebung abgeschnitten werden.

  3. Bedienbar ohne Sicht

    Bedienung über einen Touchsensor statt über einen Bildschirm.

  4. Passend zur Situation

    Draußen ausführlich beschreiben, drinnen kurz und präzise orientieren.

Develop

Entwickeln

System

Vom Foto zur Sprachausgabe in sechs Schritten.

  1. Aufnahme

    Die Kamera an der Brille nimmt ein Bild auf.

  2. Übertragung

    Der Raspberry Pi 4 speichert es kurz und schickt es an einen Node.js-Server.

  3. Analyse

    Der Server sendet das Bild mit einem auf blinde Menschen zugeschnittenen Prompt an die OpenAI API.

  4. Beschreibung

    Das Modell liefert eine Beschreibung der Umgebung zurück.

  5. Sprachsynthese

    OpenAI TTS wandelt den Text in Audio um.

  6. Ausgabe

    Der Knochenschall-Kopfhörer spielt die Beschreibung ab.

Interaktion

Zwei Modi, eine Berührung.

Outdoor-Modus: ausführliche Beschreibungen von Umgebung, Szenerie und Atmosphäre – für Erkundung im Freien.

Indoor-Modus: kurze, präzise Hinweise zu Raum, Orientierung und Wegen – für Bewegung in Gebäuden.

Der Unterschied liegt allein im Prompt: Dieselbe Hardware liefert je nach Situation eine andere Art von Beschreibung.

Deliver

Umsetzen

Rendering der Smart Glasses mit nummerierten Bauteilen

Aufbau

Fünf Bauteile, ein tragbares System.

  1. 01KameraRaspberry-Pi-Kamera, nimmt die Umgebung aus Blickrichtung auf.
  2. 02Schutzbrille als TrägerLeicht, günstig und stabil genug für die Technik.
  3. 03TouchflächeWechselt zwischen Outdoor- und Indoor-Modus.
  4. 04Knochenschall-KopfhörerSpielt die Beschreibung ab, ohne die Ohren zu verdecken.
  5. 05Gehäuse am HinterkopfNimmt Elektronik und Stromversorgung auf.
Der echte Prototyp: Kamera mit Flachbandkabel an der Brille, Kopfband mit Touchfläche, Knochenschall-Kopfhörer vor dem Ohr.