大谷新作,AI復原泰戈爾:世界以痛吻我,要我報之以歌

·3 分鐘 (閱讀時間)

當近百年前的黑白影像披上了色彩,它的歷史意義會不會多一層呢?

近日,一段泰戈爾1930年演講珍貴影像被AI修復還原。

原片來自南卡羅萊納大學膠片影像庫MIRC。

這是一段泰戈爾1930年5月5日在巴黎對美國的演講,也是泰戈爾現存僅有的幾段有聲影像之一。

「上色」後的泰戈爾還真比想像中白了不少。

網友調侃道,「泰戈爾這口英語是咖喱味兒嗎」

英語雖是咖喱味兒的,卻絲毫不影響我看得津津有味兒。

世界以痛吻我,要我報之以歌

泰戈爾說:「世界各國之間的距離,無時無刻在縮小。」

我想說,感謝AI, 我和您的距離也在縮小。一百年後的迷弟迷妹們, 也能夠看到「太爺爺」的音

容笑貌,不得不說是AI在鼓勵我揮起魔法棒。

不愧是偉大詩人,深邃眼眸帶著銳利眼神,冉冉長須,一襲長袍風中飄飄,是不是時不時散發著

文青專屬的飄飄仙氣呢?

不愧是偉大詩人,他的一言一語,都無不透露著,他對世界大地愛得是那般深沉!

視頻末,大谷還將泰戈爾全家福照片進行了上色,簡直栩栩如生。

那這個視頻的修復,背後究竟使用了怎樣的技術呢?

多款開源工具,RIFE+國人項目GPEN重回1930

大谷介紹道,「延續上一期的技術流程,我使用了RIFE,Deep-Exemplar-based-Video-Colorization,GPEN等一系列人工智能項目。聲音我也做了一下修復處理。」

其中RIFE是一個實時視頻插幀方案,能實現老舊影像對高幀率的需求。

另外,在此大谷還經常使用的另一個補幀項目是DAIN。

第二個他提到的項目是:Deep-Exemplar-based-Video-Colorization。

這來自一種結合了圖像檢索與圖像著色的模型。該模型首先會從大量參照圖像中檢索和灰度圖相似的圖像,然後再將該參照圖像的配色方案遷移到灰度圖中,實現了非常好的著色效果。

GPEN(GAN prior embedded network,GAN先驗嵌入網絡)是2021年的新晉開源項目,由國人打造,對亞洲人像還原效果更為出色。

結果表明,其效果明顯優於最先進的嚴重損壞的人臉圖像復原(Blind face restoration)方法。

還有DeOldify:DeOldify 使用了NoGAN 進行訓練,NoGAN對於獲得穩定和豐富多彩的圖像是至關重要的。

NoGAN 訓練結合了 GAN (美妙的著色)的好處,同時消除了副作用(如視頻中的閃爍對象)。

視頻渲染使用孤立的圖像生成,沒有天際任何時間建模。

大谷除了利用這些開源的AI模型,還結合了高超的後期技巧,百年前的老北京生活、上海時裝秀才能栩栩如生地出現在人們面前。

下一次,你期待誰被復原呢?

參考資料

https://b23.tv/NQhcCm

本文來自微信公眾號“新智元”(ID:AI_era),作者:新智元,編輯:yaxin 霜葉,36氪經授權發布。

本文經授權發布,不代表36氪立場。

如若轉載請註明出處。來源出處:36氪