KIOXIA x NVIDIA

“TEZUKA 2020”使用人工智能技術(shù)與人類漫畫家協(xié)作，共同創(chuàng)作了一部具有日本傳奇漫畫家手冢治蟲風(fēng)格的全新漫畫。

它是鎧俠“世界新記憶”品牌活動(dòng)的第一個(gè)項(xiàng)目。人工智能將手冢治蟲的漫畫作為原始數(shù)據(jù)進(jìn)行學(xué)習(xí)，自動(dòng)生成角色設(shè)計(jì)和情節(jié)，最后由人類漫畫家對生成的設(shè)計(jì)進(jìn)行微調(diào)以完成這部新漫畫。

在本文中鎧俠的折原良平和NVIDIA的井﨑武士討論了他們在該項(xiàng)目技術(shù)方面所扮演的角色。

“TEZUKA 2020”

人工智能創(chuàng)作的手冢治蟲漫畫

Q：“TEZUKA 2020”項(xiàng)目折原良平對此的看法是？

手冢治蟲是日本代表漫畫家之一。如果他今天還活著，會(huì)創(chuàng)作出什么樣的作品呢？這個(gè)天馬行空的問題啟發(fā)了史無前例的“TEZUKA 2020”項(xiàng)目，該項(xiàng)目通過人工智能與人類之間的協(xié)作成功地回答了這個(gè)問題。鎧俠的折原良平是該項(xiàng)目的帶頭人，他回顧了這一切是如何開始的。

折原：“TEZUKA 2020”最初是為了推廣我們在業(yè)務(wù)中使用的人工智能技術(shù)。鎧俠企劃的 “未來的記憶”于10月啟動(dòng)，當(dāng)時(shí)我們正在考慮半年內(nèi)能做出什么樣的項(xiàng)目，剛好 2月9 日是手冢治蟲逝世周年紀(jì)念日，也被稱為 “漫畫日”。我們想如果屆時(shí)能用漫畫發(fā)表點(diǎn)什么，一定會(huì)比較有影響力，這就是項(xiàng)目的開始。

項(xiàng)目主要成員有東京大學(xué)Next Generation Artificial Intelligence Research Center（新世代人工智能研究中心）的松原仁教授、慶應(yīng)義塾大學(xué)理工學(xué)部管理工學(xué)科的栗原聰教授、未來大學(xué)函館分校的迎山和司教授和手塚治蟲的兒子手塚真等多方人士。我是項(xiàng)目負(fù)責(zé)人，很多鎧俠工程師也參與了這個(gè)項(xiàng)目。

人類 x AI

創(chuàng)作＆訓(xùn)練流程揭秘

Q：這個(gè)項(xiàng)目是如何實(shí)現(xiàn)人工智能與人類協(xié)作的？

折原：討論過人工智能都能做什么之后，我們意識到單純依靠它創(chuàng)作出商業(yè)品質(zhì)的漫畫還是不可能的。這就是為什么我們決定嘗試人類與人工智能協(xié)作。

協(xié)作的形式多種多樣，我們決定采用的是讓人工智能提供情節(jié)線和基本角色設(shè)計(jì)，然后由人類漫畫家畫成漫畫。實(shí)際過程中劇情創(chuàng)作比較順利，但在人物設(shè)計(jì)上遇到了一些困難。

Q：如何訓(xùn)練人工智能重現(xiàn)手冢風(fēng)格？

折原：首先，我們提取了大量面部圖像并將其作為訓(xùn)練數(shù)據(jù)導(dǎo)入，然后使用生成對抗網(wǎng)絡(luò) (GAN) 來創(chuàng)建新的角色設(shè)計(jì)，結(jié)果并不可行。這時(shí)鎧俠的一位工程師提出了一個(gè)想法：與其讓人工智能從頭開始學(xué)習(xí)創(chuàng)建角色，不如使用一個(gè)已經(jīng)能夠識別和生成面孔的模型，然后讓它進(jìn)行遷移學(xué)習(xí)，最后通過微調(diào)該模型來解決這個(gè)問題。有意思的是，這位工程師并不是人工智能方面的專家，但他的方法奏效了。

之后我們就開始使用大量動(dòng)漫人物的面孔來訓(xùn)練模型，但其中一位漫畫家非常敏銳地指出：這樣訓(xùn)練出的模型將再現(xiàn)動(dòng)漫風(fēng)格，而不是手冢治蟲的漫畫畫風(fēng)。

最終我們以真實(shí)人臉訓(xùn)練的模型作為基礎(chǔ)，使用手冢治蟲的漫畫數(shù)據(jù)讓其進(jìn)行遷移學(xué)習(xí)。手冢治蟲本人在創(chuàng)作角色時(shí)也會(huì)從真實(shí)的人臉中汲取靈感，因此這個(gè)方法在理論上是合理的。我們決定使用經(jīng)過人臉訓(xùn)練的NVIDIA模型，這就是NVIDIA參與到該項(xiàng)目的原因。

井﨑：是的。最開始是栗原教授聯(lián)系我說想使用我們的StyleGAN模型。從“鐵臂阿童木”到“黑杰克”，我從小就一直在讀手冢治蟲的漫畫，因此能夠加入這個(gè)項(xiàng)目我很榮幸。NVIDIA的技術(shù)可以應(yīng)用到這個(gè)項(xiàng)目中讓我很興奮。

當(dāng)時(shí)，GAN因其處理創(chuàng)造性工作的能力在人工智能領(lǐng)域風(fēng)靡一時(shí)。漫畫是日本文化中一個(gè)獨(dú)特部分，將我們的模型用于漫畫相關(guān)的項(xiàng)目是很難得的機(jī)會(huì)。所以我聯(lián)系了NVIDIA總部，詢問我們是否可以參與其中。

后篇：

鎧俠·未來記憶系列｜人工智能篇——NVIDIA與鎧俠共同探討人工智能的未來（二）

鎧俠·未來記憶系列｜人工智能篇——NVIDIA與鎧俠共同探討人工智能的未來（三）

鎧俠·未來記憶系列｜人工智能篇——NVIDIA與鎧俠共同探討人工智能的未來（四）