波新聞─陳瑩、李至文/高雄
國立高雄大學資訊工程學系 ( 資工系)教授余亞儒,指導江東庭、李思恩、王雋硯、蔡東祐等4位大四學生,結合「光流(Optical Flow)」、「深度學習(Deep Learning)」與「大語言模型(Large Language Model,LLM),開發即時手語辨識系統「手語之聲」,造福瘖啞人士,解決日常溝通不便困擾,該成果入選國科會大專學生研究計畫,以及校內「激發學生創意競賽–創業實作組」第一名殊榮。
余亞儒表示,根據政府資料,台灣約有18萬9千名瘖啞人士,其中台灣手語使用者2至3萬人,但全台僅有591名具備證照的專業手語翻譯員,加上多數民眾不諳手語,使得瘖啞人士在購物、銀行、醫院等生活場景溝通不便,無法得到即時回應,但這類相對少數(族群)的需求也代表商機有限,通常鮮少企業願意開發(解決方案),但對社會卻是非常有幫助,也因此團隊積極運用自身專業、助其改善生活品質。
「手語之聲」系統運用了光流技術、深度學習和資料生成技術,僅需普通攝影鏡頭即可捕捉使用者手部動作及臉部表情並即時分析,能夠準確快速地轉換為文字或語音,準確率可達93%。
即時手語辨識系統應用潛力廣泛,能夠融入教育、醫療、公共服務等多個領域。例如協助學校教師與聽障學生教與學;幫助醫護人員與聽障患者溝通病情;又如設置於政府、商業場所服務窗口,提升聽障人士在公共空間的便利性與參與度。
團隊成員江東庭表示,「我們突破手語資料稀缺的瓶頸,透過少量資料進行生成和擴充,使得系統能正確識別詞彙並將其組成完整句子。」該技術的核心在於用影像取代傳統的感測器方案,降低成本同時提升便利性。
余亞儒補充說明,系統目前能辨識單詞並串接成句,未來若能克服判斷句子斷點等挑戰,以及擴充至穿戴裝置或手機應用程式,應用場景將更為廣泛。例如與緊急救援系統加以整合,協助瘖啞人士報警、警消救援溝通更加順暢。
「手語之聲」成果獲得肯定,不僅通過113學年度國科會大專學生研究計畫,也摘下校內本(12)屆激發學生創意競賽—創業實作組第一名榮銜。
圖/高雄大學資工系教授余亞儒(前排中)、指導學生江東庭(前排右1)、李思恩(前排左1)、王雋硯(後排左1)、蔡東祐等4位大四學生,開發即時手語辨識系統「手語之聲」。