首位獲得奧斯卡技術獎的台灣人: AR+機器學習,騙術有多高明?

奧斯卡金像獎科學技術成就獎得主  Google 軟體工程師馬萬鈞出席2020天下經濟論壇冬季場,於【台灣新生代談未來】發表演說。照片提供《天下雜誌》
奧斯卡金像獎科學技術成就獎得主 Google 軟體工程師馬萬鈞出席2020天下經濟論壇冬季場,於【台灣新生代談未來】發表演說。照片提供《天下雜誌》

你以為有圖就等於有真相?第一位獲得奧斯卡科學技術成就獎的台灣人、Google軟體工程師馬萬鈞,曾參與《阿凡達》、《班傑明的奇幻旅程》等好萊塢大片製作,來到2020天下經濟論壇(CWEF)冬季場分享,影像辨識技術如何重塑人們眼中的「真實」。當擴增實境(AR)、機器學習成為全球科技大廠爭相佈局的新技術,台灣的機會又在哪裡?

整理:天下編輯部

以下是馬萬鈞博士演講摘要:

今天我跟大家分享的是:「實境的未來」,因為我主要做的是電腦繪圖,怎麼運用電腦來計算深層圖像,包括像大家講的電腦繪圖、電腦視覺、影像識別,甚至機器學習,其實都有一些關係。

所謂的實境,就是我們現在看到得的東西,但我們往前看十年,電腦實境又會對我們未來會有什麼影響?到底什麼是真實的?以前我們看到的東西,我們都覺得是真的。

IKEA網站的照片,七成都是電腦繪圖的

但大家上宜家家具(IKEA)的網站,上面的照片,2014年就有70%是電腦繪圖做的。以前傳統的方式,必須每個產品都拍照、傳上網,但是宜家有那麼多產品,材質、大小都不一樣,它就必須用更有效率的方法,來處理這些照片。

其他像是汽車廣告的汽車影像圖,也是用電腦軟體畫出來的,看起來跟真的照片沒什麼兩樣,其實你看到的這些影像都是假的。

我們生活中看到很多的媒體素材也都是假的,是用電腦畫出來的,在生活中也很常運用。像是機師開模擬器做基礎訓練,就會用模擬器模擬很危險的狀況,暴風雨、氣流……,因為機師不可能在這樣的真實環境中開飛機,基本上都在模擬器上訓練,用模擬實境的方式來做。

不只人需要學習,機器也需要學習。

日本自駕車公司ZMP,他們必須要有很多影像資料,模擬車子在真實環境中的狀況,以往就是用相機去拍。但這家公司想,現在影像生成技術很成熟,我把假的影像畫出來,透過機器學習辨識、貼標籤。例如,黃色(標籤)是交通號誌、紅色是人、藍色是樹……,過去就是找人去拍景象,找人做標籤,但這是十年前的做法,現在影像處理技術很好,影像生成後,標籤就自動產生了。

除了視覺上的模擬,我們也會想把真實跟虛擬環境結合,例如,有一雙電腦繪圖虛擬出來的球鞋,數位化之後把它跟真實環境結合在一起,也就是我們說的AR。

只要有手機,每個人都可以當導演

我本身是做電影的,但我為什麼在Google?以前我們想到電影視覺特效,就是把假的東西放在真的環境裡,但說穿了,以後有沒有可能只用手機,我們每個人就可以變導演?其實這已經是進行中的事,像抖音這家公司就在做類似的事,把虛擬的影像和真實結合。

手機上的AR應用像是,我想知道自己戴這副眼鏡好不好看,穿這件衣服好不好看,都可以用AR做模擬。企業只要抓住「預測」的這個趨勢,都是有商機的,這就是一種新的體驗,透過AR呈現新的體驗。

布萊德彼特、保羅沃克......數位「複製人」成真

我本身在做的,就是讓虛擬人物變得非常真實,我從在南加大的時候就開始做研究,我對虛擬演員、怎麼捕捉人的神情非常有興趣,在國外產學合作很常見,所以我們就和《阿凡達》劇組合作。

在電影業,演員是核心,我們透過電腦繪圖技術把假的人物放在電影裡面,或把人物變年輕,像《班傑明的奇幻旅程》裡的布萊德彼特,我們創造了一個老年版的布萊德彼特;或是演員不幸過世,像《玩命關頭》中的保羅沃克,大家看到的雖然是假的影像,卻不會有很大的違和感,因為這些技術已經漸漸成熟。

最近的CES展,三星也宣布想要做數位人,但他們沒有做得非常好,可是可見各大廠商都想做這件事,因為它就像一個介面,企業可以透過它去做一些宣傳或溝通。

回到為什麼Google想做這件事情?它的目的不是做電影,大家可以想一想,虛擬實境跟機器學習的關係,把虛擬的東西放在真實環境裡,有哪些新的可能,其實這些都跟機器學習有關。

IG上的虛擬偶像愈來愈多

現在社群媒體、像Instagram上面的虛擬偶像也漸漸多了起來,愈來愈普及,他們就像真人一樣,有自己的個性和生活。到底我們看到的東西是真還是假?其實虛擬的東西就是一種新的真實,但這雖然帶來新的契機,因為企業可以產生新的應用,但它也造成新的挑戰,挑戰也是我們必須深思的。

至於台灣有沒有機會發展特效業?台灣其實已經有特效業,但如果你想做的是大規模的產業,媒體、內容產業主要還是在美國發展,他們有完整的產業鏈,從寫劇本、演員到發行,運作非常好。

但這也不代表台灣沒有機會,現在有很多新的平台產生,像Netflix,可以給台灣內容創作者一些契機,和這些新的平台合作。以前跟電影發行公司談合作,如果沒有足夠資源,他們不會跟你合作,但平台業者的內容很多元,相較之下比較好上架,這些都是台灣內容創作者的新機會。

2020年天下經濟論壇冬季場!為您與亞洲菁英搭起對話平台,一同探索生存、突圍之道。

更多天下雜誌文章
光碟機工程師的逆襲 從筆電到德國汽車產線,這台MIT機器人都能做
林百里:我們還是烏龜,但頭抬得更高
2020 CWEF冬季場完整演講精華