Meta提出全球首款以語音對語音翻譯技術,讓閩南語直接變英語
過去常見語言翻譯系統,多半是建立在有實際語音及對應文字內容,並且透過交叉比對或深度學習方式進行翻譯,而Meta稍早宣布推出全球第一款直接以語音對語音方式進行翻譯的技術,藉此讓原本沒有實際對應標準書寫文字內容的閩南語,可以直接透過口說方式翻譯成英語,甚至支援雙向翻譯。
閩南語在全球使用人口超過5000萬人,主要分布在台灣、中國福建、新加坡、馬來西亞等地,本身並未具備對應標準書寫文字系統,主要透過口說方式交流、學習,因此若以目前常見的語言翻譯系統運作邏輯來看,閩南語基本上難以被翻譯成其他語言,或是從其他語言翻譯,原因在於沒有足夠文本與聲音內容進行訓練,另一方面也在於可將語言直接翻譯為閩南語的人相對較少,因此很難建立合適的翻譯模型。
在Meta提出設計中,最初會將會將沒有標準書寫文字系統的語言念音轉為數位資料,並且將這些資料以不同語言對應文字進行標示分類,在此次示範閩南語與英語翻譯過程中,便是將閩南語的念音所轉換數位資料以中文作為中間語言,並且透過機器學習方式進行比對訓練,在後續實際翻譯過程就能順利將閩南語翻譯成英語 (亦即將閩南語轉換成中文,再將中文轉換為英語),同時也能反過來將英語翻譯成閩南語,進而透過數位語音方式念出。
若碰到語音內容無法透過第一道流程完成翻譯,系統就會透過第二道流程嘗試透過其他語言轉譯,最終則可將語音內容翻譯成所需語言。
至於為了確保翻譯準確度,Meta也透過Taiwanese Across Taiwan建立長達300小時長度的台文語音語料庫,建立第一個閩南語與英語雙向語音翻譯基準資料集,藉此確保翻譯結果正確。
目前Meta已經可讓閩南語使用者與英語使用者對話,但現階段仍僅能在每次翻譯單一完整語句,未來預期將會持續讓翻譯成效精進。
而參與此項技術研究、來自台灣的Meta軟體工程師陳鵬仁,便以其70歲的父親陳聖獎為例,雖然閩南語在許多情況下與中文相關,但其實仍有不少差異,因此長年習慣以台語與人溝通的父親,在必須以中文溝通情況下,往往就會讓說話速度變慢,甚至較難正確表達,因此希望透過人工智慧方式讓父親可以更容易以台語與他人溝通,甚至能夠轉換成英語。
透過名為「S2UT」 (speech-to-unit translation)的技術,Meta更宣布將開放透過名為LASER的自然語言處理工具打造的SpeechMatrix大型語音對語音訓練模型,讓其他研究人員可以建立更多無法透過標準書寫文字內容紀錄的語言,藉此讓更多語言也能便利地透過人工智慧方式翻譯成其他語言,藉此讓不同語言使用者能更輕易溝通,並且打破語言隔閡。
不過,跟其他語言會有口音、不同地區用語差異情況一樣,即便同樣都是閩南語,在台灣地區說的台語,跟中國福建、閩南一帶說的閩南語,以及在新加坡、馬來西亞等地區所使用的閩南語多少都會有些不同,因此在後續設計顯然也必須建立更多訓練模型,才能順利對應不同地區的語言互譯。
更多Mashdigi.com報導:
支援USB4 2.0設計規範,Intel確認下一版Thunderbolt將在2023年揭曉正式名稱、細節