Interview03 修圖

用最新AI技術“NeRF”作出的噪音效果來表現(xiàn)“當下感”

將最新技術NeRF發(fā)生錯誤時產(chǎn)生的失真噪音效果作為一種表現(xiàn)手法運用到藝術作品中，我們就此采訪了挑戰(zhàn)這一難題的藝術家新井レン和叢智子。

?

——首先請介紹下“NeRF”（NeuralRadianceFields）（讀作ナーフ）。
新井：簡單來說，它是一種可以將多張照片生成為一份可以自由變換視角的畫像的最新AI技術。如果是利用迄今為止其他的3DCG制作軟件，不事先計算好再去進行360度拍攝的話，是無法建立這樣被連結起的空間的。比方說，只從左側和右側拍攝前方的建筑物，除非在中間再拍攝一次，否則圖像之間無法連接。但如果使用NeRF，即使沒有中間部分AI也會根據(jù)周圍的信息進行補完和自動生成，能夠更加簡單地制作360度的空間。
叢：這就是NeRF的神奇之處。另外，360度全景拍攝的VR是不能移動視點的，但NeRF可以從自己想要的視點去觀看對象。
——是因為什么參與到了櫻坂46的視覺制作呢？
新井：關于6月28日櫻坂46發(fā)售的“Start over!”藝術視覺和封面設計，當時收到了這樣的委托：“我們想用NeRF這個新技術來進行視覺制作，能幫忙修圖和潤色嗎？”但當時沒有接觸過NeRF，所以也并不清楚這是什么樣的技術。
叢：今年1月在美國播放的麥當勞電視廣告中使用了NeRF的自由視點技術，似乎是引起了不少話題。然而，在櫻坂46的視覺設計中卻是想利用NeRF發(fā)生錯誤時產(chǎn)生的失真噪音畫面來表達。

——您的意思是使用不同于其本來的使用方法嗎？還請說得詳細一些。

新井：NeRF在生成空間且進行補完時，本來是需要相當多張的照片數(shù)據(jù)的，但如果照片數(shù)量不夠就會出現(xiàn) 無法補充完整的失真。但這種時候生成的失真效果相當獨特，就很有趣，所以在這個錯誤的部分上繼續(xù)加 入人物并合成，想要創(chuàng)造出前所未有的視覺效果。

?

通過高科技和模擬的結合作出全新的可能性

——雖然觀點很新穎有趣，但要將從未采用的技術加入工作中似乎難度不小。
新井：說實話一開始充滿了焦慮……。因為想象不到會出現(xiàn)什么樣的失真效果，也不知道要減少多少張照片才能出現(xiàn)很酷的失真效果，所以我首先咨詢了我們公司的3D團隊。他們說雖然沒有使用過NeRF但有接觸過類似的應用，所以提供給我?guī)讉€失真效果的案例作為參考。看后我判定用Photoshop來處理應該就沒問題。
——有多少制作時間呢？
叢：大概一個半月左右，時間很緊呢（笑）。關于背景素材，由Think&Craft從不同角度收集了櫻坂46作為起點的東京澀谷的各種素材。Think&Craft還負責驗證了制作背景失真效果的圖像數(shù)量。

Amana的負責人會從Think&Craft接過制作好的失真背景，然后負責給由攝影師藤井せいや棚拍的人像加上和背景相同的失真效果。所以在接收到背景相關數(shù)據(jù)資料后到拍攝人像前的這段時間內(nèi)，關于如何讓人像也出現(xiàn)相似的失真，我們做了大量的驗證。
新井：由于這是本次視覺制作中至關重要的一部分，所以關于引出失真效果的方法和合成方法，我們都進行了認真的驗證。
叢：背景拍攝結束后，與藤井せいや根據(jù)使用的背景決定如何去配合人物的拍攝角度，并進行了人像攝影。
新井：我們負責的工作領域是，將NeRF生成的圖像（背景部分）和攝影棚拍攝的圖像（人像部分）合成時，如何將人物很好地融入進NeRF創(chuàng)造的世界觀。也就是說，在2D層面上去模仿NeRF生成的圖像的質(zhì)感和分辨率，也就是所謂去“故意破壞圖像”。
叢本就有在創(chuàng)作破壞原本圖像的作品，所以對“破壞圖像”這件事有著豐富的知識和經(jīng)驗。我接受委托后馬上問她要不要一起做。
叢：在平時的工作中使用修圖和潤色技術是為了讓成品看上去更漂亮，不過從大學時代開始就對故障藝術很感興趣，在藝術創(chuàng)作中因為想做和工作完全相反的事情，所以就使用了破壞圖像的表現(xiàn)方式。沒想到有一天會有人告訴我，可以在工作中使用這種方式（笑）。

——有覺得困難的部分嗎？
新井：藝人臉部的表現(xiàn)。為了不讓失真過多，但同時又要避免只有臉部顯得突兀，調(diào)整起來是很困難的。在背景中插入人物后為了獲得相同的紋理，我們先使用了Photoshop中的“置換”功能將整體進行失真處理，然后再手動還原臉部的部分。
叢：面部則只通過“置換”中的水平比例和垂直比例的數(shù)值來進行調(diào)整。還有就是把人物移到失真效果相比較少的地方進行失真處理，然后再挪回到原來的位置進行微調(diào)等。在不斷試錯的過程中，會漸漸意識到“下次可以這么做”。
新井：是的是的，是在理解的基礎上去調(diào)整數(shù)值呢。NeRF雖然是最新的AI技術，但在Photoshop上除了數(shù)值以外的調(diào)整，都是通過手動調(diào)整之類的來完成，其實算是一種以模擬作出效果的做法。
通過高科技和模擬的結合做出來的視覺效果是前所未有的，因為表現(xiàn)出的成果讓人難以看出它究竟是以什么方式和手法制作出來的，這讓我感受到了巨大的潛力和可能性。雖然一開始充滿了不安，但現(xiàn)在覺得能參與進來真是太好了。
叢：在平時的工作中不可能會將藝人面部的部分變形，但因為櫻坂46一直在展現(xiàn)藝術性很高的作品，所以只要整體的視覺效果足夠好，面部出現(xiàn)少許的失真也是ok的，這樣告訴了我們這一點真的非常重要。正因為是具備理解能力的甲方，才能夠?qū)⑺鞒扇绱饲八匆姷囊曈X效果。
——和普通的修圖工作相比有什么困難的地方？
叢：一般的工作上要求可逆性，要考慮到一旦更換畫像方案之后的應對流程。但像這次這樣旨在偶然地制造出來的作品就沒那么簡單了，麻煩接亂不斷。
新井：即使替換了所用畫像，只要輸入相同的數(shù)值，就能在相同的地方作出一樣的失真，這一點我們確實是有反復試驗確認過的。但果然不順利的情況還是更多呢。
叢：我們預想把這個圖像和那個圖像組合起來后，只要填入這些數(shù)值就能出現(xiàn)相同的失真效果，本以為到這一步為止都是在掌控之中的，但想要它正確地變得錯誤（作出失真效果）比想象之中更難……。
——使之正確地變得錯誤……很厲害的表現(xiàn)方式呢。這么細致的工作只有兩個人做嗎？
新井：基本是我們兩個人。不過途中也會有要參與其他的攝影之類的工作的時候，所以從中途另外加入了由4個人組成的“讓其bug小隊”。

叢：我從“讓其bug小隊”那里得到了很多被稱為“感覺不錯的error”的素材（笑）。快到最后的時候我就逐漸明白了“對這個人物施加以這樣的扭曲和失真就能做出不錯的效果”之類的事。
新井：如果不從相同的場景生成失真效果的話，就會變成和目標場景不搭的生硬圖像。所以嘗試著上下左右反轉同一個場景的失真素材，或者故意拉動RGB面版，一點點地讓色調(diào)變得更混沌一些。為了使整體的效果更加和諧，我會毫不妥協(xié)地反復試錯。
因為同時想配合內(nèi)頁用的各種視覺的方向性，所以即使時間很緊張也嘗試了很多東西。
——很快就想到了要使用Photoshop的“置換”嗎？
叢：一開始你是想手動變形的吧？
新井：對對，一開始嘗試著手動做。但如果手動扭曲的話無論如何都會帶著手畫的特點，從圖像里能看出來人手操作的痕跡，這樣NeRF生成失真的高科技感就沒有了，所以我很快就放棄了。
Photoshop中的“置換”，通常被用于表現(xiàn)化妝品于水面上倒映出波紋的晃動等，這是一個修圖者幾乎人人都會用那般常見的功能。就想著嘗試一下，實操之后發(fā)現(xiàn)“這個好！”。我還是第一次知道水平比率和垂直比率都可以使用負數(shù)，長久以來從未在一般的使用過程中設置過負數(shù)……
新井：不僅僅是“置換”功能相關的這件事，這次的工作中不斷地有新發(fā)現(xiàn)。也許這樣是在說重復的話了，但能造出嶄新表現(xiàn)形式的方法不止有使用新技術一種，通過將其與已經(jīng)用舊的工具所組合，能夠創(chuàng)造出前所未有的表現(xiàn)結果，這是一個很大的發(fā)現(xiàn)，從中我也能感受到創(chuàng)新擴展的可能性。
而且很多人都告訴我們說“不知道這是怎么做出來的”、“聽了解釋也不太明白”、“不過總之很酷！”，因為是經(jīng)過深思熟慮才做出來的，所以我相當高興。

使用了NeRF技術的今后的廣告表現(xiàn)形式的潮流

——你覺得今后的廣告領域這樣的表現(xiàn)形式會越來越多嗎？
叢：我覺得通過這次的視覺作品，傳達了藝術創(chuàng)作中“破壞圖像”這種做法的有趣之處，也希望更多的人能享受“毀像”的樂趣。
新井：一方面我覺得形式上的利用率可能會增加，另一方面又覺得因為分辨率的部分還沒跟上，所以采用這種手法的話，尺寸可行度上可能會比較局限。另外我覺得這個視覺效果的帥氣之處是在看起來高精細度的基礎上另外有著error的部分，所以如果整體的分辨率比較低，看起來像以前復古的畫質(zhì)那樣，就會缺失這種時下的高科技感。
在有著這種限制的前提條件下，去考慮可以作出什么樣的表達效果、搭配什么什么樣的工具和功能等反復試錯，也許能創(chuàng)造出其它新的表現(xiàn)方式。

新井レン 在專門學校學習攝影，作為修圖師加入amana。

叢智子 在大學時學習攝影，從攝影助理轉為修圖師。

Interview06 攝影師

從背景素材到3D空間、人物畫像選擇，把握并調(diào)和全部畫面的色調(diào)

根據(jù)背景素材的方向來進行人物攝影的藤井先生。

一邊設想NeRF處理出的效果一邊進行的攝影，與普通的攝影有什么不同之處，我們就此做了采訪。

——聽說是采用了NeRF技術的實驗性拍攝，請問背景是如何拍攝的呢？
藤井：是由我提出地點和場景，并在NeRF團隊記錄并生成的3D空間中，選擇被稱作最佳點的站立點。帶著身為攝影師的感性，考慮了色調(diào)調(diào)節(jié)和失真噪音效果的程度等方面。
——人物攝影有什么講究？
藤井：為了突出NeRF處理出的噪音部分，我們有意識地使用高質(zhì)的燈光來高精度地拍攝人物鏡頭。為了和背景色調(diào)風格相匹配地去設計了打光，并截取了被攝體動作中的一瞬間。與此同時，在人物攝影現(xiàn)場NeRF團隊也進行了空間記錄。
——然后由你將它們合成，并生成為一張視覺圖像。
藤井：對拍攝的圖像，和合成后的圖像，我們會進行兩次色調(diào)調(diào)整。這樣一來不會讓照片看起來僅僅像是普通的合成照片。
——您從NeRF這一最新技術中感受到了怎樣的可能性？
藤井：有趣的地方在于巧用NeRF的bug這一點。不僅限于NeRF，不依靠技術本身而是通過活用它來擴展創(chuàng)意，作為一名攝影師和創(chuàng)作者，再次感受到了這才是樂趣所在，同時也是展露專業(yè)技巧的機會。

藤井せいや 1991年出生于佐賀縣。九州產(chǎn)業(yè)大學藝術學部攝影學科畢業(yè)。在東京都內(nèi)曾有在工作室工作的經(jīng)驗，后于2018年獨立。工作領域不受形式限制，從廣告至藝人的藝術作品相關都有負責。W所屬。

Interview07 燈光指導

考慮到NeRF的處理效果，利用閃光燈設計了銳利的燈光

在人物攝影時擔任燈光指導的海道元先生。
采訪了有關從色調(diào)印象，到如何設計出活用了NeRF處理效果的燈光布置。

——聽聞海道先生是從人物攝影的時候參與到企劃中的，請問在燈光的設計上是如何考慮的呢？
海道：雖然事先做了一定的設計，但因為是相當實驗性的拍攝，所以主要是通過在現(xiàn)場和staff溝通來逐漸完成的拍攝。
流程上來說，是在人物拍攝前收到了已經(jīng)完成的背景資料，于是就以此作為基礎進行了設計。因為背景是清晨多云的，被柔和光線所包裹的空間，所以我想著要去配合這樣的氛圍和色調(diào)來安排燈光。
——使用了什么樣的光源呢？
海道：因為被委托了的是整體包含動態(tài)的視覺效果，如果是通常情況下，我會選擇穩(wěn)定的光源，但將動態(tài)元素通過NeRF處理的方式更符合這次的概念，因此恒定光源只使用了LED頂光，其他主要是使用閃光燈來組成打光。
——平時以電影拍攝為主從事燈光指導的工作比較多，這次的平面攝影您采用了怎樣的方式方法呢？
海道：在常見的平面攝影中一般是依照攝影師的想法將燈光具象化。但這次是包括考慮著如何巧用NeRF在內(nèi)，staff間共同一邊試錯一邊推進的，所以是相當接近電影現(xiàn)場的感覺。
我自己也比較擅長這種風格，也許這也是這次被分配到委托的理由吧，我一邊這么想，一邊為了能不辜負期待而盡力去做了。

海道元 1989年出生于神奈川縣鐮倉市。畢業(yè)于日本電影學院（現(xiàn)日本電影大學）。2010年進入Office Doing工作
。2021年辭職后成為獨立自由職業(yè)者。2022年委任NEWTOWN管理。主要負責眾多藝人的MV和CM，也參與了電影和演唱會的燈光指導。

夏之風鈴字幕組

翻譯：異邦人×i×i

校對：小綠?