大谷新作，AI復原泰戈爾：世界以痛吻我，要我報之以歌

當近百年前的黑白影像披上了色彩，它的歷史意義會不會多一層呢？

近日，一段泰戈爾1930年演講珍貴影像被AI修復還原。

原片來自南卡羅萊納大學膠片影像庫MIRC。

這是一段泰戈爾1930年5月5日在巴黎對美國的演講，也是泰戈爾現存僅有的幾段有聲影像之一。

「上色」後的泰戈爾還真比想像中白了不少。

網友調侃道，「泰戈爾這口英語是咖喱味兒嗎」

英語雖是咖喱味兒的，卻絲毫不影響我看得津津有味兒。

世界以痛吻我，要我報之以歌

泰戈爾說：「世界各國之間的距離，無時無刻在縮小。」

我想說，感謝AI, 我和您的距離也在縮小。一百年後的迷弟迷妹們， 也能夠看到「太爺爺」的音

容笑貌，不得不說是AI在鼓勵我揮起魔法棒。

不愧是偉大詩人，深邃眼眸帶著銳利眼神，冉冉長須，一襲長袍風中飄飄，是不是時不時散發著

文青專屬的飄飄仙氣呢？

不愧是偉大詩人，他的一言一語，都無不透露著，他對世界大地愛得是那般深沉！

視頻末，大谷還將泰戈爾全家福照片進行了上色，簡直栩栩如生。

那這個視頻的修復，背後究竟使用了怎樣的技術呢？

多款開源工具，RIFE+國人項目GPEN重回1930

大谷介紹道，「延續上一期的技術流程，我使用了RIFE，Deep-Exemplar-based-Video-Colorization，GPEN等一系列人工智能項目。聲音我也做了一下修復處理。」

其中RIFE是一個實時視頻插幀方案，能實現老舊影像對高幀率的需求。

另外，在此大谷還經常使用的另一個補幀項目是DAIN。

第二個他提到的項目是：Deep-Exemplar-based-Video-Colorization。

這來自一種結合了圖像檢索與圖像著色的模型。該模型首先會從大量參照圖像中檢索和灰度圖相似的圖像，然後再將該參照圖像的配色方案遷移到灰度圖中，實現了非常好的著色效果。

GPEN（GAN prior embedded network，GAN先驗嵌入網絡）是2021年的新晉開源項目，由國人打造，對亞洲人像還原效果更為出色。

結果表明，其效果明顯優於最先進的嚴重損壞的人臉圖像復原（Blind face restoration）方法。

還有DeOldify：DeOldify 使用了NoGAN 進行訓練，NoGAN對於獲得穩定和豐富多彩的圖像是至關重要的。

NoGAN 訓練結合了 GAN (美妙的著色)的好處，同時消除了副作用(如視頻中的閃爍對象)。

視頻渲染使用孤立的圖像生成，沒有天際任何時間建模。

大谷除了利用這些開源的AI模型，還結合了高超的後期技巧，百年前的老北京生活、上海時裝秀才能栩栩如生地出現在人們面前。

下一次，你期待誰被復原呢？

參考資料

https://b23.tv/NQhcCm

本文來自微信公眾號“新智元”（ID:AI_era），作者：新智元，編輯：yaxin 霜葉，36氪經授權發布。

本文經授權發布，不代表36氪立場。

如若轉載請註明出處。來源出處：36氪