看哭了!AI修復讓李大釗陳延年們露出微笑|我們又能做些什么?

刷微博看到人民日報這條消息瞬間淚目了!前段時間追《覺醒年代》之后把中國現(xiàn)代史又了解了一遍后,心中的愛國之情更濃了,看到這個根本繃不住。
看到李大釗,王盡美,陳延年,鄧中夏,夏明翰,向警予,方志敏,趙一曼,江竹筠,董存瑞先烈們的微笑,學姐腦海里只剩了一句話:“百年后的中國,已如你們所愿!”
當年!他們也不知道自己有多大的能量,但他們不畏炮火,堅持斗爭,立志結(jié)束被壓迫的混亂局面,一步一個腳印的走出了當今中國特色社會主義道路。
現(xiàn)在!我們讀書,學AI不管是為了研究,還是為了找到好工作,都是在為中國的發(fā)展貢獻自己的一份力量,納稅人按時納稅也很光榮的!
AI修復背后的技術大牛
@大谷的游戲創(chuàng)作小屋,學姐從2020年8月關注他的。當時這位大牛發(fā)了《AI上色老北京》的作品(文章末尾有傳送門),立馬一鍵三連加關注!
這次的作品又上了熱門,剛開始學姐看得時候猜測他這次用的技術是styleGAN,后來看量子位對他的采訪,原來是用了GPEN,RIFE,DeOldify、Deep Exemplar based Video Colorization,Artbreeder和Topaz Labs技術。
GPEN
大谷這次修復人臉照片主要GPEN技術,GPEN可以將模糊的照片變得清晰。

GPEN全稱GAN prior embedded network,也就是GAN先驗嵌入式網(wǎng)絡。
簡單來說就是,首先學一個用于高質(zhì)量人臉圖像生成的GAN,并將其嵌入到U-shaped DNN中作為先驗解碼器,然后用一組合成的低質(zhì)量人臉圖像對先驗嵌入的GAN DNN進行微調(diào)。

(a) 是一個GAN先驗網(wǎng)絡(b)是一個GAN塊的細節(jié)部分(c)是GPEN的完整的架構(gòu)
前面學姐提到,猜測過大谷是不是用了StyleGAN,這個猜測是因為StyleGAN和CLIP結(jié)合可以達到修圖的效果,而且還可以進行人臉編輯。

后來知道他是用了GPEN,然后就想知道為什么沒有用StyleGAN,在尋找答案的過程中找到了一篇論文,這篇論文也許能告訴你我答案:
對于GAN塊的構(gòu)造,有幾種選擇。在圖像修復工作中采用了StyleGAN2的架構(gòu),因為其生成高清圖像的能力很強。
GAN的塊數(shù)等于U形DNN中提取的跳過特征映射的個數(shù)(和噪聲輸入的個數(shù)),與輸入人臉圖像的分辨率有關,StyleGAN在每個GAN塊中需要兩個不同的噪聲輸入。
不同于StyleGAN,為了使GAN先驗網(wǎng)絡能夠容易地嵌入到U形GPEN中,噪聲輸入以相同的空間分辨率重復應用到所有的GAN塊中。
此外,在StyleGAN中,噪聲輸入被串聯(lián)而不是添加到卷積中。
研究人員經(jīng)驗性地發(fā)現(xiàn),這可以帶來更多的細節(jié)來還原的人臉圖像。

由此可得,GPEN模型明顯優(yōu)于其他的修復人臉的GAN模型,同時,GAN預嵌入式網(wǎng)絡(GPEN)具有保存圖像細節(jié),易于實現(xiàn)、可視化生成逼真結(jié)果的特點。
GPEN不僅能讓老照片里模糊的人臉變清晰,還能將黑白人物照轉(zhuǎn)成彩色照片。

RIFE
是曠視和北大提出的一種實時中間流估計算法,用于視頻幀插值,能夠改善偽影、讓視頻更絲滑。

DeOldify、Deep Exemplar based Video Colorization,是用于圖像上色:
DeOldify
DeOldify是用于著色和恢復舊圖像及視頻的深度學習項目,基于NoGAN會使圖片細節(jié)處理效果更好,渲染也更逼真;NoGAN 在 DeOldify 中是用來保證視頻著色的穩(wěn)定性。

Deep Exemplar based Video Colorization
Deep-Exemplar-based-Video-Colorization,來保證著色時間的連貫性與穩(wěn)定性。

Artbreeder
還有用于臉部生成的Artbreeder:

在Artbreeder上,用戶可以通過調(diào)整滑塊,來創(chuàng)建不同風格的人像、動畫。
Topaz Labs
以及用于超分的Topaz Labs,基于于機器學習技術和trimap技術,增加照片的分辨率,補充像素細節(jié)。
提供添加蒙版,AI色彩、細節(jié)增強,AI降噪,無損失放大等功能。
學計算機的一定得有一個問為什么的習慣,才不容易陷入迷茫期,瓶頸期,能夠不斷的學習進取~~
關注學姐,學習新知識,養(yǎng)成好習慣!

學姐帶你玩AI?AI前沿話題、技術交流、機器學習、深度學習、比賽解析、大廠面試、大咖分享、Paper學習、AI工具庫……關于AI的,學姐全包~
參考文檔:
https://mp.weixin.qq.com/s/p9L1_A9yosqQ0kcPpOm9YQ
https://space.bilibili.com/176003?from=search&seid=1582334862154880162
https://openbayes.com/console/openbayes/containers/rlJisxxVhhD
人民日報官方微博
https://arxiv.org/pdf/2105.06070.pdf
https://www.topazlabs.com/denoise-ai
https://www.artbreeder.com/
https://github.com/zhangmozhe/Deep-Exemplar-based-Video-Colorization
https://arxiv.org/abs/1906.09909
https://www.oschina.net/p/deoldify?hmsr=aladdin1e1
如有侵權,聯(lián)系刪除