深度解析,達(dá)芬奇中最強大的5種AI工具

很明顯,機器學(xué)習(xí)(Machine Learning)和人工智能(Artificial Intelligence)已經(jīng)在后期制作流程中被大量運用了。
像Adobe、Blackmagic Design和FilmLight這樣的專業(yè)后期軟件開發(fā)商都在迅速跟進(jìn)這些新興技術(shù),比如Premiere Pro中的語音智能識別功能。
作為一名調(diào)色師和剪輯師,在我的日常工作中已經(jīng)開始大量使用達(dá)芬奇中的這些智能工具。下面我會分享五種AI功能,你可以學(xué)習(xí)并將它們用到你的工作流程中。
1.達(dá)芬奇里有哪些智能工具?
Blackmagic Design以2019年達(dá)芬奇 16 Studio版本推出的神經(jīng)網(wǎng)絡(luò)引擎(Neural Engine)為起點,開啟了他們的AI之旅。這是他們在應(yīng)用程序中提供人工智能/機器學(xué)習(xí)工具的第一步,包括以Speed Warp進(jìn)行智能變速控制、Super Scale進(jìn)行素材縮放變換、自動調(diào)色進(jìn)行色彩匹配,更有面部識別自動美顏等精彩功能。
隨著達(dá)芬奇 17 Studio版本的發(fā)布,BMD實現(xiàn)了更多由神經(jīng)引擎驅(qū)動的功能,比如神奇遮罩、智能場景探測、物體移除和智能重新構(gòu)圖,將AI技術(shù)又前推進(jìn)了一大步。
接下來我們看具體的應(yīng)用。
2.面部修飾
在達(dá)芬奇中,我最喜歡的人工智能效果之一就是面部修飾工具。
這個有趣的工具可以快速地修飾皮膚、去除眼袋、增強和銳化眼睛,甚至可以對拍攝對象的面部進(jìn)行微妙的二次布光(當(dāng)然要在適當(dāng)?shù)臅r候)。
當(dāng)你第一次應(yīng)用ResolveFX的面部修飾工具,只需點擊分析,這個工具就會追蹤畫面中人的面部輪廓,完成跟蹤后,就可以獨立地調(diào)整人物包括五官在內(nèi)的各個面部特征。?

重要的是,如果檢測膚色或面部特征的自動檢測過程有任何問題,你還可以通過手動給它提供一個Alpha通道來告知插件面部的正確位置,或者調(diào)整色溫色調(diào)等設(shè)置來告知插件該畫面下膚色的真正色彩范圍。

對我來說,面部修飾工具做得最好的一點是對各個參數(shù)的細(xì)致控制,熟練掌握后可以簡捷快速地實現(xiàn)調(diào)整,高效地保證了鏡頭的一致性。
但面部修飾工具目前有一個極大的缺點:分析過程不能批量應(yīng)用,必須在每一個需要應(yīng)用的片段上手動點擊運行,這會很大程度上延緩你的工作流程。
而且更糟的是,大量的手動操作很容易遺忘而造成錯誤的效果,類似”浮動的眼睛、“懸空的嘴巴”這類錯誤輸出時有發(fā)生。這是因為面部修飾工具錯誤地使用了來自前一個鏡頭的跟蹤數(shù)據(jù),所以需要在輸出前反復(fù)檢查。

3. 場景剪輯點探測
雖然達(dá)芬奇在很早就有一整套場景剪切探測的工作流程,但它與達(dá)芬奇17中引入智能神經(jīng)引擎的探測場景切點工具是完全不同的。
以前的場景剪切檢測工具只能在導(dǎo)入前的媒體頁面上使用,需要大量的手動調(diào)整,或者需要剪輯部門提供一條完美的剪輯決策表(EDL)。說實話,實際運用中這并不比直接用剃刀工具手動剪好多少。我經(jīng)常發(fā)現(xiàn)自己手動剪速度更快,尤其是在素材包含轉(zhuǎn)場時。
新的探測場景切點功能對于任何熟悉達(dá)芬奇剪輯頁面的人來說都是快速、簡單和直觀的:只需在時間軸上選擇你想檢測剪切的片段,進(jìn)入頂部的時間線菜單,并選擇探測場景切點。

隨后達(dá)芬奇就會自動處理,并在處理過程中會出現(xiàn)對話框,提示你當(dāng)前進(jìn)展情況。當(dāng)他探測完成,你就會在時間線上看到這些新剪切好的片段。如果你需要添加或刪除剪切點,你可以在AI識別過程結(jié)束后使用達(dá)芬奇的分割連結(jié)工具輕松完成。
不得不說,這項功能對提高工作流程的效率非常有幫助。雖然它不像其他一些由神經(jīng)引擎驅(qū)動的新鮮功能(如神奇遮罩或面部修飾)那么炫酷,但探測場景切點已經(jīng)成為我日常加速工作的必備工具。
不管是提取幾個鏡頭還是剪輯部門給過來的修改輸出,探測場景切點消除了素材在不同剪輯軟件之間額外往返的需要,這為我節(jié)省了大量時間來完成更重要的創(chuàng)作任務(wù)。
4. 神奇遮罩
達(dá)芬奇的神奇遮罩正好符合科幻小說家Arthur C. Clarke關(guān)于技術(shù)的名言:"任何足夠先進(jìn)的技術(shù)都與魔法無異"。
達(dá)芬奇的神奇遮罩只要求用戶在畫面上畫出一筆,就可以確定一個或多個要在整個鏡頭中跟蹤的對象。接下來,由神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練出來的人工智能就會自主在整個片段中跟蹤選定的主體。

神奇遮罩甚至可以更進(jìn)一步,利用其人類特征模型,智能地隔離被攝者身體的特定部分—比如只隔離裸露的皮膚、只隔離衣服、只隔離面部、只隔離軀干等。你甚至可以具體到一頂帽子或一雙鞋。但它對一些沒有經(jīng)過大量算法訓(xùn)練的對象,比如動物這類容易會出現(xiàn)錯誤的結(jié)果。

在最近的一個項目中,我使用AI加手動的混合方法來摳一個角色的白色衣服,節(jié)省了大量時間。具體來說,就是先依靠神奇遮罩的人體識別功能來跟蹤被攝者,再結(jié)合傳統(tǒng)的限定器和遮罩系統(tǒng)來進(jìn)一步完善摳像結(jié)果。
相比用達(dá)芬奇的限定器和遮罩窗口完全手動實現(xiàn)同樣的目標(biāo),由計算機來分擔(dān)繁重的工作顯然是未來調(diào)色師必須掌握并利用的優(yōu)勢。

當(dāng)然,神奇遮罩也有一些限制。我發(fā)現(xiàn)神奇遮罩的計算速度比傳統(tǒng)的摳像流程要更慢,畢竟計算量變得更大了。根據(jù)我的實際經(jīng)驗,使用神奇遮罩所需的時間大概是其他方法的三倍。但在許多情況下,這仍然比手動打關(guān)鍵幀快。上手后,神奇遮罩會成為你的工具箱中的一個重要工具,特別是當(dāng)你時間緊迫,沒有時間去一幀幀校對時。
需要說明的是,我大部分的經(jīng)驗是使用工作站級別的硬件得出的,這類設(shè)備一般會有幾十個核心的CPU和一塊或多塊有大量顯存的強大GPU。盡管如此,但使用過程中我仍然會遇到偶爾的卡頓或未響應(yīng)。如果你使用的是功率較小的臺式機或筆記本電腦,而且硬件規(guī)格相當(dāng)?shù)?,那我建議避免使用這些AI工具,因為它們更有可能延緩你的工作流程,而不是改善它。
總結(jié)來說,神奇遮罩在與其他工具協(xié)作時效果非常好,所以我強烈建議將它與其他摳像工具(如傳統(tǒng)的限定器窗口和遮罩窗口)相結(jié)合。
?
5. 速度扭曲(Speed Warp)
我個人對慢動作或時間重映射鏡頭最討厭的地方之一是它的卡頓。它把我從我正在看的內(nèi)容中拉了出來,讓我感覺像被人操縱了。所以我喜歡盡可能地保持鏡頭平穩(wěn)。
很多時候?qū)︾R頭進(jìn)行升格處理,要到后期剪輯時才會做,所以你大概率只有24幀的素材可供調(diào)整,這對變速來說并不理想。好在達(dá)芬奇光流運算與速度扭曲運動插值模式相結(jié)合,可以為你提供漂亮的時間重映射效果。至少是目前你所能得到的最好效果。
你可以在剪輯頁面的屬性欄和項目設(shè)置中找到時間重映射和運動估計的相關(guān)設(shè)置,但速度扭曲這個AI選項只能在剪輯頁面的屬性欄中對需要調(diào)整的鏡頭逐一設(shè)置。AI輔助的時間重映射雖然在一定程度上增加了渲染時間,但它提供了討客戶喜歡的平滑時間重映射,特別是當(dāng)客戶一直接觸的是幀混合這類傳統(tǒng)的低質(zhì)量時間重映射效果時。
需要注意的是,在添加效果后要盡可能地與離線剪輯參考相匹配,所以我通常試圖通過調(diào)整變速來與離線參考相匹配。但如果感覺很難匹配到一致,那讓鏡頭的變速更平滑往往是正確的方向。
6. 物體移除
想象一下,你正在為某個大型電視劇項目做后期工作,電視劇的故事背景是中世紀(jì)。
拍攝過程中,劇組小心翼翼地避免了任何現(xiàn)代的東西入鏡,并在低照度的自然照明環(huán)境下進(jìn)行暗調(diào)拍攝。在急于使用自然光來捕捉一切的過程中,難免出現(xiàn)了一些小錯誤。例如,一個麥克風(fēng)吊桿溜進(jìn)了畫面,或者一個品牌咖啡杯被遺留在了畫面中。
幾年前,這種類型的問題會自動成為視效組的工作,無論多么復(fù)雜。如今,我們的調(diào)色軟件也有了長足的發(fā)展,提供了各種工具,使得那些身兼多職的藝術(shù)家能夠在調(diào)色的同時進(jìn)行物體移除,而不需要再基于其他軟件設(shè)計另一個完全獨立的流程。
以達(dá)芬奇為例,達(dá)芬奇允許在調(diào)色界面上進(jìn)行基礎(chǔ)的AI輔助物體移除工作,也可以在Fusion界面進(jìn)行更高級的手動操作。在我的日常工作中,就經(jīng)常使用ResolveFX中的物體移除工具來去除建筑物上的某些標(biāo)志、地址和號碼,以及去除天空中的干擾元素。

物體移除插件基于神經(jīng)引擎來智能生成純凈背景,但如果你愿意,你也可以不使用它們轉(zhuǎn)而輸入你自己制作的背景圖。有時我會這樣做,因為在Photoshop中可以相當(dāng)容易地扣除小物體或移除一些干擾因素。
7. AI技術(shù)還有很長的路
說了這么多基于人工智能的工具,我個人仍然覺得這個領(lǐng)域還處于起步階段。
在我使用人工智能工具時,我常常不得不做相當(dāng)多的手動調(diào)整,所花費的額外處理時間也不少。另外,有的時候,它也會完全失控,導(dǎo)致結(jié)果不可用??赡苁且驗檫@些畫面對于目前的人工智能算法來說太過復(fù)雜,所以仍需要人工操作來保底。
因此,如果你是一個擁有高超技藝的特效工作者(如roto師、合成師等),而你擔(dān)心人工智能會搶走你的工作,那么至少在最近幾年內(nèi),你都可以睡個安穩(wěn)覺了,人工智能還有很長很長的路要走。
我對達(dá)芬奇的人工智能工具以及未來的發(fā)展只是做了一些簡單的介紹,但我希望這五個工具的介紹能夠為你指明正確的方向,或者至少讓你對一些新的工具產(chǎn)生興趣,你可以考慮將其添加到你的工作流程中組合運用。
畢竟,你永遠(yuǎn)不知道在拍攝現(xiàn)場會發(fā)生什么意外,而直到素材到達(dá)你的手中才有人注意到。無論你愿意與否,這類情況在工作中屢見不鮮。
如果你對上面提到的任何功能有任何其他問題,我強烈建議你查看達(dá)芬奇的官方用戶手冊,你可以從達(dá)芬奇軟件頂部的幫助菜單中進(jìn)入。該手冊足足有3500多頁,是一本非常全面的軟件應(yīng)用指南,對達(dá)芬奇的每項功能都有很好的說明。老實說,我已經(jīng)讀完了整本手冊,而且每次翻閱都會有一些新收獲。
原文整理自:https://blog.frame.io/2021/09/27/davinci-resolve-ai-tools
想學(xué)習(xí)更多實戰(zhàn)技巧,歡迎添加微信:13126516291。我們期待與您溝通交流~
