Codifica per HoloLens con Unity 5:creazione di un'app per i sottotitoli

Codifica per HoloLens con Unity 5:creazione di un'app per i sottotitoli

L'ultima volta ho detto che avrei creato un'app completa per HoloLens:ho trascritto i passaggi in un post scritto e ho scoperto che cercare di descrivere una procedura lunga e piuttosto complessa è difficile e non molto utile per i lettori.

Quindi, invece, ho aperto un canale YouTube e ho caricato alcuni brevi video che descrivono il processo lì.

L'app che ho creato usa il microfono di HoloLens per rilevare il parlato e usa il componente DictationRecognizer in C# per convertire questo discorso in testo. Quindi visualizzo questo testo in una casella dei sottotitoli su un HUD che può vedere chi indossa HoloLens. Lo scopo di questa app - io la chiamo "Holo Listener" - è assistere le persone che potrebbero avere difficoltà di udito e possono utilizzare HoloLens per ottenere i sottotitoli in tempo reale per una conversazione.

Ovviamente ci sono alcune limitazioni:il software di riconoscimento vocale è buono ma non perfetto e l'app funziona meglio in un ambiente tranquillo in cui l'oratore è vicino alla persona che indossa l'HoloLens.

Ad ogni modo, spero che questi video siano un'utile dimostrazione della creazione e dello sviluppo di un'app end-to-end.

Parte #1 – Creazione dell'app in Unity e configurazione dei componenti dell'interfaccia utente dell'HUD

Parte 2 – Accendere e spegnere l'app utilizzando il gesto del tocco

Parte #3 – Utilizzo di DictationRecognizer per convertire il parlato e mostrare i sottotitoli