AI讓語言障礙者「再聲」 教授、身障博士生開發即時翻譯軟體

國科會人文及社會科學研究發展處自2023年開始推動「以包容為導向之科技計畫」，迄今已達成階段性成果，其中AI促進語言轉譯及溝通，台北大學電資學院博士生黃瀚勳與他的指導教授張玉山開發中文即時翻譯軟體ezTalk，造福語言障礙者。
國科會指出，「AI協助語言障礙者溝通」為語言障礙者開發了「ezTalk」和「Voice Bank」等工具，幫助漸凍症及腦性麻痺患者與外界進行有效溝通，克服目前個別服務無法普及的挑戰。團隊成員黃瀚勳，是臺北大學電機資訊學院的博士班學生，身為遺傳性痙攣性下身麻痺和吶語症患者，瀚勳深刻理解語言障礙者的溝通困境，他把苦難化為動力，從身障者的視角研發技術，貢獻自身力量，獲得2021年總統教育獎之榮譽。
國科會進一步說明，「聽力障礙者溝通新科技」為突破聽障者的社會參與困境，開發多元溝通輔具，包含：整合語音辨識與混合實境（MR）眼鏡，讓聽障者能「看見」聲音；構音生成對抗網路架構，提升聽障者語音清晰度；設計易讀圖文版APP，將資訊轉換為易於理解的圖文格式；並並透過VR訓練提高其溝通技能，增強社會參與，也讓非聽障者更理解聽障群體的需求。
張玉山教授指出，溝通是人的本能，但對於語言障礙者（如漸凍人、腦性麻痺及其他），與人溝通變成一種困難，更阻礙其參與社會。長期下來，語言障礙者可能會害怕與人溝通，不僅影響工作，也不想接觸人群，與社會更加疏離，進而產生自我否定、憂鬱悲傷等情緒。為了減少語言障礙者溝通的挑戰，並走出自我的象牙塔，本計畫期待結合語音訊號處理、AI 深度學習、自然語言處理等技術，並與身障領域的社工合作，建立溝通輔具協助語障者。具體計畫目標包括：1. 以 Voice Bank 協助漸凍病友及構音障礙者收集語音，並串接 SMLTK、VoiceBank 及語音系統。2. 為構音障礙者建構個人化的語音辨識模型及輔具，支援使用者正確語音表達。3. 建構能支援在地醫療照護的多模態跨語言任務導向對話系統。4. 分析相關服務人員對科技溝通輔具的接受態度，以及試用者在輔具介入前後的生活狀況改變。5. 推廣運用科技溝通輔具，以期達成數位支持、溝通無礙之終極目標。
語言障礙者聲音很微弱，但是科技的力量很強大，科技可以協助弱勢族群改善生活，透過AI科技表達其需求與想法，並積極地參與社會生活、教育學習、工作休閒等，讓語障者融入人群，增加人際連結，達到「以科技促進社會包容」的目標。臺北大學再聲計畫團隊以「包容科技」之精神，利用AI深度學習、多模態跨語言任務導向對話系統等技術，建構協助語言障礙者可以順利溝通之輔具，提供語障者「再聲」的機會！