全息手語翻譯輔助技術走進教室

來自普渡大學的一個團隊結合了創新和技術，爲聾啞和聽力睏難(DHH)的學生創建了一個新的學習繫統。在“全息手語翻譯”中，通過可穿戴混合現實智能眼鏡(微軟HoloLens)觀察到的手語化身，將語音實時翻譯爲精確符號化英語(SEE)。SIGGRAPH與輔助技術項目背後的團隊進行了交流，以了解更多關於其開髮的信息，以及它如何促進圍繞教室無障礙環境的對話。

SIGGRAPH: 分享一些SIGGRAPH 2022教育工作者論壇演講“全息手語翻譯”的背景知識。是什麼啟髮了嗎?

FY::我們的研究實驗室多年來一直緻力於數字手語虛擬形象的研究。在過去，我們通過構建應用程序和結合聾啞/聽力睏難學生的手語教學代理來探索不同的可穿戴XR設備。隨着HoloLens 2的引入和開髮者api的增強，我們決定將“全息手語翻譯”納入我們的研究範圍。

Christos Mousas (CM):我們爲DHH學生構建了一個混合現實(MR)應用程序。我們的繫統檢測音頻輸入並在接近實時的情況下顯示相應的符號動畫。本研究的整體目標是透過全息可穿戴MR的應用，提高DHH大學生對教育資料的可及性及DHH兒童對數學概唸的學習。

SIGGRAPH:給我們講講“全息手語翻譯”的髮展。你在創作過程中遇到過什麼挑戰嗎?
FY:最具挑戰性的部分是在有限的手語數據集下，爲原型設計語音到手語的集成，並測試HoloLens設備的兼容api。我們的團隊計劃通過實現機器學習和自然語言處理技術來加強這部分應用程序，這是語音到符號集成的終極最佳方法。

CM:我們項目的實施流程包括兩個主要步驟。首先，我們通過動作捕捉收集了四堂K-1數學課。一名專業的聾啞人被招募來用精確籤名英語(SEE)進行K-1數學講座。我們利用動作捕捉技術爲全息化身捕捉SEE動畫。其次，利用Azure語音轉文本SDK，在Unity遊戲引擎上設計了MR應用程序。該繫統將教師輸入的語音(音頻)轉換爲英文文本。然後對轉換後的句子進行分析，找出相應的符號、韻律標記和韻律修飾語。然後，繫統觸髮數據集中的手勢動畫片段，並呈現一個逼真的全息手語翻譯，他在SEE中做動作。

SIGGRAPH:你們是如何開髮這些虛擬形象的?

FY:這個角色最初是由薩拉斯(2020年)創作的。我們購買了先進的骨骼邦定，並重新裝配它，以適應我們的運動捕捉流程。然後，通過一個完整的身體、麵部和手部跟踪繫統，通過記錄一名專業的手語，捕捉化身的動畫。

SIGGRAPH:這個繫統如何有助於提高課堂的可訪問性和適應性?

FY:使用數字手語可以從多個角度使DHH學生受益。人工口譯通常成本高昂，而且不是隨時隨地都有的， 尤其是在高等教育方麵，而數字手語口譯可以爲最終用戶提供更高的易用性。此外，課程材料可以在課後檢索和審查，數字代理可以迎合用戶的偏好，提供了更高的適應DHH社區。類似的應用也可以在課堂之外使用，包括日常交流和娛樂活動。

SIGGRAPH:你希望這個繫統將來如何使用?你希望用戶從中得到什麼?
FY：創建這個繫統的目的不是取代口譯員，而是爲DHH人員提供更多的選擇和選擇。繫統的多個方麵仍需改進和調整，以更好地適應最終用戶的要求和期望。我們希望不斷改進該繫統，並能夠在真實的課堂場景中測試它。

CM:聾人學習者可以在教室裡、在家裡、在與數字教育材料互動時使用全息化身。然而，全息化身解釋器還可以在其他多個領域造福DHH人群，比如在市場或其他公共場所。我們希望用戶認爲，技術進步可以簡化和改善我們的日常生活。

SIGGRAPH:當SIGGRAPH 2022的參與者在會議期間了解到更多關於“全息手語翻譯”的知識時，他們能期待什麼?
FY:在輔助技術方麵，人的因素和投入是至關重要的。我們利用幾種尖端技術構建了這個原型，主要目標是爲DHH學生在課堂上帶來最好的體驗。

CM:我們計劃展示我們應用程序的開髮過程。我們希望參與者通過了解當前的技術限製和潛在的未來方向而受益。畢竟，綜合全息手語翻譯仍然是一個挑戰，各個領域的研究人員應該共同努力，以取得更好的結果。

SIGGRAPH: SIGGRAPH很興奮能舉辦有史以來第一次線上線下結合的會議。關於這次經曆，你最期待的是什麼?
FY:我期待着與在線投稿者見麵，也期待着與親自出席會議的人進行直播演講。

CM:我們之前經曆過這種會議類型(例如ACM CHI 2022)。我們知道，在組織這樣一場混合活動時，會麵臨很多挑戰。不過，我們真的很期待社交活動。