美顏sdk趣味拍攝功能會(huì)用到哪些算法?

隨著美顏算法的升級(jí),以及硬件設(shè)備的不斷革新,現(xiàn)在的美顏SDK的功能已經(jīng)非常豐富了,不管是最基本的美顏效果,還是更高級(jí)的趣味拍攝功能,都得到了大家的認(rèn)可,特別是在直播和短視頻這兩個(gè)平臺(tái),它的知名度和使用率是非常高的,甚至是剛需一般的存在。
而今天小編要講的,便是美顏sdk中的一個(gè)功能,那就是可以將人物照片“風(fēng)格化”。通過(guò)對(duì)用戶使用習(xí)慣的調(diào)查,小編發(fā)現(xiàn)短視頻和直播平臺(tái)里的“動(dòng)畫(huà)風(fēng)格”是最受用戶歡迎和使用頻率最高的。所以,今天我們就來(lái)了解一下動(dòng)畫(huà)風(fēng)格的實(shí)現(xiàn)流程。

一、人像轉(zhuǎn)化為動(dòng)畫(huà)風(fēng)格是如何實(shí)現(xiàn)的?
“動(dòng)畫(huà)拍攝”顧名思義,就是將人物的形象轉(zhuǎn)化成“二次元”的動(dòng)畫(huà),這個(gè)功能在某音上也有,相信大家平時(shí)刷視頻的時(shí)候都能看到。其實(shí)現(xiàn)原理其實(shí)就是對(duì)目標(biāo)圖像進(jìn)行色彩、紋理的變換,本質(zhì)上就是將輸入的對(duì)象變換成特定的風(fēng)格,而非人臉的對(duì)象也隨之變換。
二、GAN技術(shù)
說(shuō)完了最基本的實(shí)現(xiàn)步驟,接下來(lái)就是更深入的東西了,在這里就必須提到它的核心技術(shù)——“GAN”,這也是效率最高的一個(gè)算法。但對(duì)于美顏sdk動(dòng)畫(huà)風(fēng)格而言,只要改變畫(huà)面中的所有物體就可以了,從理論上說(shuō),這要比改變局部細(xì)節(jié)要簡(jiǎn)單得多。
總的來(lái)說(shuō),GAN風(fēng)格遷移的應(yīng)用涉及到的研究領(lǐng)域很多,方法也很多,小編在此只選擇其中的幾項(xiàng)核心技術(shù)加以介紹。讓我們先來(lái)看看Pix2Pix和?CycleGAN吧,前者需要深度學(xué)習(xí)數(shù)據(jù),而后者則沒(méi)有這個(gè)必要,所以我們還是選擇?CycleGAN。

三、深入融合
但是,當(dāng)美顏SDK直接使用?CycleGAN算法時(shí),并不能立刻得到成品,因?yàn)樵谔幚砣四樥Z(yǔ)義信息時(shí),有極大概率會(huì)出現(xiàn)關(guān)鍵信息錯(cuò)亂的情況,這種問(wèn)題會(huì)用到兩種方式修正。
1、通過(guò)增加人臉關(guān)鍵點(diǎn)來(lái)預(yù)測(cè)任務(wù),約束輸出圖像中的五官分布。
2、另一種方法是根據(jù)注意機(jī)制學(xué)習(xí)人臉的有效區(qū)域。
這就是小編關(guān)于美顏sdk人像風(fēng)格化趣拍功能的一個(gè)小模塊的說(shuō)明,在用戶們?nèi)粘J褂玫拿總€(gè)模塊和每個(gè)小功能的背后,都有一個(gè)復(fù)雜的美顏算法,要保證美顏sdk的流暢性不是一件容易的事情,需要長(zhǎng)時(shí)間的不斷的技術(shù)升級(jí)和迭代。