Codierung für die HoloLens mit Unity 5 – Erstellung einer Untertitelungs-App

Codierung für die HoloLens mit Unity 5 – Erstellung einer Untertitelungs-App

Letztes Mal habe ich gesagt, dass ich eine komplette App für die HoloLens erstellen würde – ich habe die Schritte in einem schriftlichen Beitrag transkribiert und festgestellt, dass der Versuch, ein langes und ziemlich komplexes Verfahren zu beschreiben, schwierig und für die Leser nicht wirklich hilfreich ist.

Also habe ich stattdessen einen YouTube-Kanal gestartet und einige kurze Videos hochgeladen, die den Prozess dort beschreiben.

Die von mir erstellte App verwendet das Mikrofon der HoloLens, um Sprache zu erkennen, und verwendet die DictationRecognizer-Komponente in C#, um diese Sprache in Text umzuwandeln. Ich zeige diesen Text dann in einem Untertitelfeld auf einem HUD an, das der HoloLens-Träger sehen kann. Der Zweck dieser App – ich nenne sie „Holo Listener“ – ist es, Menschen zu helfen, die möglicherweise Hörprobleme haben, und die HoloLens verwenden können, um Echtzeit-Untertitel für ein Gespräch zu erhalten.

Offensichtlich gibt es einige Einschränkungen – die Spracherkennungssoftware ist gut, aber nicht perfekt, und die App funktioniert am besten in einer ruhigen Umgebung, in der sich der Sprecher in der Nähe der Person befindet, die die HoloLens trägt.

Wie auch immer, ich hoffe, diese Videos sind eine hilfreiche Demonstration der Erstellung und Entwicklung einer App von Anfang bis Ende.

Teil 1 – Erstellen der App in Unity und Einrichten der UI-Komponenten des HUD

Teil #2 – Ein- und Ausschalten der App mit der Tap-Geste

Teil #3 – Verwenden des DictationRecognizer zum Konvertieren von Sprache und Anzeigen von Untertiteln