與工研院攜手推氣象AI手語主播 聽障即時掌握天氣資訊【涉己新聞】

公視手語新聞找了新主播嗎？

其實這是由公視與工研院推出的新計畫，AI手語氣象主播。

只要輸入文字，就會自動翻譯為手語稿，再生成手語影片。

這中間要經過手語翻譯、骨架估測、及影像生成3個步驟。

工研院資通所技術經理李雅文說：「那目前在這樣的資料蒐集，其實應該說在手語資料，就是一般對話式的文字只有翻成手語的文字，這樣的語料庫其實是非常非常罕見而稀少的，那因為沒有資料，我們就很難去發展這一件事情。」

工研院為了訓練AI虛擬手語主播，在氣象領域找了公視手語新聞等影片，目前已經標註了222部，總時長約5小時，擷取出1298個單字。

工研院資通所組長王恩慈說明，「最困難的標註其實在中間的這一段，就是中間的這些所有的骨架肢體的標註，因為一般之前我們在做骨架偵測的時候，都只會做到大型的關節，問題是當我們進到手語的時候，它會進到手指關節，那手指關節其實非常多，尤其是這些點位你都要標到位的時候，標註系統會變得非常複雜。」

記者歐姵君報導，「今天是陰天，光是這兩個手語在做骨架估測的時候，就相當不容易。」

工研院工程師蕭柏宣也說明，「以這個影像來講，它是手指向前伸的動作，那手指向前伸你看它的畫面，從鏡頭的前方拍過來，其實你是看不出來他的手指是伸長且伸直，當然以骨架偵測來講，它也會變成說，它就變得像一坨擠在一起。」

骨架估測不清楚，產生的手語，手形就會不正確。讓人看不懂或看起來怪怪的，所以初期需要人力去一個指頭、一個關節的校正。取得骨架，還得讓每個手語單字順暢的接在一起，再產生影像。

記者歐姵君報導，「透過2D影片生成的技術，我們可以讓不會比手語的早安新聞主播也會比手語。」

經過變臉微調，將骨架套上外表，就能得到具象化的虛擬手語主播。

每一步都需要很多技術及人力投入，因此，目前先針對氣象及天災緊急情況來訓練AI，希望第一步是在地震或極端氣候下，來不及找手語翻譯時，可以透過AI手語主播，讓聾人朋友獲取資訊沒有時差。