本期分享主題：

當前，元宇宙產(chǎn)業(yè)處于高速發(fā)展期，技術體系逐漸成熟，應用場景愈發(fā)豐富，其中以數(shù)字人為中心的應用和內(nèi)容最為火熱。高擬真的數(shù)字人內(nèi)容需要克服三個層次的技術瓶頸，即如何在虛擬現(xiàn)實環(huán)境中感知、生成并驅(qū)動三維人體。本次直播將由來自南洋理工大學MMLab@NTU的劉子緯老師領銜五位博士生，來為我們分享實驗室近期最新的關于三維人體方面的工作。

分享時間：

2022年11月20日 15:00

點此鏈接免費報名：https://www.shenlanxueyuan.com/launch/B01116/detail

主題介紹

1、GTA-Human、HuMMan人體數(shù)據(jù)集

主講人：蔡中昂，南洋理工大學博士生。

分享內(nèi)容：GTA-Human是一個大規(guī)模游戲生成的參數(shù)化人體數(shù)據(jù)集（2萬段視頻及140萬幀SMPL參數(shù)標簽）。利用游戲引擎中豐富的素材，GTA-Human在人物、動作、地點、相機姿態(tài)、人與環(huán)境的交互、光照、氣候等維度具有多樣性。HuMMan是一個大規(guī)模的多模態(tài)4D人體數(shù)據(jù)集，包含1000個人物，40萬段視頻，6000萬幀數(shù)據(jù)。HuMMan包含多模態(tài)數(shù)據(jù)和標注、移動端數(shù)據(jù)、完備且無歧義的動作集，支持動作識別、姿態(tài)估計、人體重建等多種任務。本場分享將從數(shù)據(jù)背景、工具鏈和數(shù)據(jù)集、任務實驗優(yōu)勢等多個維度詳細講解。

2、Relighting4D: 3D人體的逆向渲染與重打光

主講人：陳昭熹，南洋理工大學博士生。

分享內(nèi)容：動態(tài)人體的重打光是一個極具挑戰(zhàn)的任務，為電影游戲工業(yè)中的逼真渲染的關鍵技術，現(xiàn)有技術手段往往需要專業(yè)人員和昂貴的特種設備對目標人體進行精細掃描與建模。為了降低這一技術的成本，并拓展其使用場景，本工作旨在使用神經(jīng)渲染技術，通過物理渲染器從動態(tài)人體視頻中恢復出可用于重打光的人體幾何及反射率信息，實現(xiàn)自由視角和姿態(tài)下的人體重打光。

3、AvatarCLIP: 文本驅(qū)動的3D人體生成

主講人：洪方舟，南洋理工大學博士生。

分享內(nèi)容：三維虛擬人在數(shù)字時代扮演了重要的角色。但是創(chuàng)建一個三維虛擬人的過程不可避免地費時費力。為了簡化這個過程以使更多普通用戶能夠方便創(chuàng)建三維虛擬人，我們提出了AvatarCLIP，一個零次學習的文本驅(qū)動的三維虛擬人生成與動作生成。我們方法的核心在于使用強大的視覺語言預訓練模型CLIP來監(jiān)督生成過程。我們將整個生成過程分為大致體型生成，具體外觀生成，以及動作序列的生成。實驗驗證了AvatarCLIP可以接受非常大范圍的文本輸入，無需任何數(shù)據(jù)即可達到較好的結(jié)果。

4、MotionDiffuse: 文本驅(qū)動的人體動作生成

主講人：張明遠，南洋理工大學博士生。

主講內(nèi)容：文本驅(qū)動的動作生成技術，以文本作為輸入形式，允許用戶生成自己的人體動作序列。由于其交互簡單的特點，該領域近些年受到了廣泛的關注和研究。然而現(xiàn)有的方法往往難以生成多樣的、可控制的動作序列。為了解決這些問題， MotionDiffuse 第一次在該領域引入了擴散模型。通過設計高效的 Transformer 結(jié)構(gòu)，以及被賦予的時空編輯能力，MotionDiffuse 大幅提升了動作生成技術的能力邊界，并在多個數(shù)據(jù)集上達到了目前最高的精度水平。

5、Bailando: 人體舞蹈動作生成

主講人：李思堯，新加坡南洋理工大學 S-Lab一年級博士生。

主講內(nèi)容：舞蹈生成是一個具有挑戰(zhàn)性的任務，它的難點在于既要保證生成的動作在空間上達到舞姿的高標準，又要在時間上與音樂節(jié)拍吻合。在本文中我們提出了一種有兩個階段的編舞框架Bailando。在第一階段，我們利用量化自編碼器（VQ-VAE）將符合空間標準的舞姿編碼和量化到一個名為“舞蹈記憶”的編碼本中；在第二階段，利用生成預訓練Transformer（GPT）將對“舞蹈記憶”中的舞姿進行編排，將輸入的音樂轉(zhuǎn)換為視覺上令人滿意的舞蹈。我們進一步引入評論家網(wǎng)絡給生成的舞蹈打分，引導 GPT 編排出與音樂節(jié)奏更加吻合的動作。實驗結(jié)果表明，Bailando可以在標準編舞數(shù)據(jù)集上取得SOTA的效果。

免費報名地址：https://www.shenlanxueyuan.com/launch/B01116/detail