2023年2月16-17日，「冰城論道暨第24屆中國智能視聽與科技創(chuàng)新高峰論壇」在哈爾濱隆重舉行。本屆論道以“破界·共生”為主題，邀請到了智能視聽領域的企業(yè)翹楚與行業(yè)領袖蒞臨齊聚，圍繞新時代下的破界、破局、破壁與共生、共創(chuàng)、共贏等話題，全方位展望產(chǎn)業(yè)的趨勢動向。

　　在16日下午舉辦的「技術賦能視聽論壇」上，與會嘉賓聚焦諸多新技術、新業(yè)務，探討了視聽的新可能。會上，中科深智行業(yè)解決方案總監(jiān)洪峰進行了主題為《中科深智數(shù)字人賦能OTT行業(yè)——開啟元宇宙之旅》的演講。

　　以下為演講全文：

　　各位好，這是我第一次參加流媒體網(wǎng)論道，感到非常高興。中科深智在廣電行業(yè)，包括IPTV和OTT行業(yè)還并未被大家知曉，希望通過這樣的機會跟各位有比較深層次的討論。數(shù)字人、元宇宙概念，從去年開始就特別火爆，非常巧合在這兩個月ChatGPT又大火了，所有的受眾破圈理解，我們今天做一個比較直觀的講解。

　　前兩年，包括廣電、電信有非常多的行業(yè)客戶或者是偏娛樂角度的客戶都講虛擬人，虛擬人有非常多的背景，也使得虛擬人產(chǎn)業(yè)不斷延伸，第一塊是底層技術的不斷發(fā)展，包括算力、計算資源、網(wǎng)絡資源、存儲資源等底層技術的發(fā)展，第二個是應用角度，或者說不同跨界行業(yè)的角度，比如說一些CG的玩家，動畫的玩家進來實現(xiàn)多融合的行業(yè)交融，同時，客觀來講，這么多數(shù)字人并沒有找到一個非常好的特別落實的應用場景。

　　以虛擬人的全面表達，賦予元場景服務的基本能力

　　前兩年元宇宙廠家很多，而去年開始很多不斷沒落。中科深智成立于2016年，核心團隊成員來自北大、中科大等著名高校，公司總部位于北京，在數(shù)字人和元宇宙領域已經(jīng)有一些積累，今天我從政府相關的一些政策引導的角度做一些分享。

　　首先，上海、北京、成都、武漢、蘇州、杭州等城市不斷發(fā)布元宇宙的政策，我們公司在北京，但是我在上海，我們深度參與上海和北京兩塊元宇宙相關的場景招募。越來越覺得說元宇宙的一些應用場景和相關的一些行業(yè)應用正快速落地，比如說最近在上海有一個非常有意思的現(xiàn)象，國家相關部門組織各種大型的需求方發(fā)布了20個重大的項目，他們把元宇宙希望達成的目標或者是需求非常明確表述出來，由各位供應商去做落地。而且希望能夠達到更多的商業(yè)價值的變現(xiàn)。我們公司也參與其中。另外我們公司在北京也不斷參與政府的相關項目。

　　作為中科深智來說，先介紹一下公司背景，中科深智早期是做動畫和影視相關工具業(yè)務的，從2019年開始把所有的應用場景跟相關的技術做了一些深化，更加聚焦于AI生成式的動作表情的實時生成。

　　我們作為鏈主型“元企業(yè)”，上下鏈都需要人的情況下，就需要我們底層的驅(qū)動和架構，我們擁有深厚的原創(chuàng)技術和專用數(shù)據(jù)積累，并基于Transformer自研了虛擬人動作和表情生成的大模型CLAP。中科深智目前做了三件事情，或者說基于生成式AI虛擬人技術做了三件事情，第一塊是生成式的動作和表情的實時驅(qū)動。第二件事情是做生成式的3D建模和資產(chǎn)數(shù)據(jù)，照片生成后可以直接捏出人，游戲行業(yè)比較多，我們更多偏向工具類的東西。第三塊更加聚焦3D AIGC內(nèi)容的生產(chǎn)工具，底層有一個邏輯基于多模態(tài)的輸入方式，不管是語音文字聲音甚至是音樂、語義作為我們其中一個輸入，作為AI creator中間的算法層，最終實現(xiàn)一個穩(wěn)定的 SDK。

　　我們目前會不斷發(fā)展相關的應用集成商,目前已經(jīng)在各個不同的領域，包括教育、醫(yī)療、文旅等等，最終服務于不同的屏，包括電視的屏，手機的屏，一體機的屏，AR和VR屏等等。從品牌合作方的角度來說，目前比較主流的一些主芯片以及操作系統(tǒng)，從AI和VR的角度也已經(jīng)配合，我們希望能夠打造一個所謂數(shù)字人的底層基座，能夠不斷的服務于上下游客戶。

　　中科深智團隊規(guī)模接近150人，80%左右研發(fā)人員，我們在上海、北京、鄭州都有分公司，目前來說我們定位是以生成式AI虛擬人技術為基礎的公司，有兩個部分需要著重強調(diào)一下，第一塊基于我們自研的CLAP算法模型，我們做了相關的底層基座應用驅(qū)動Motionverse虛擬人業(yè)務中臺。第二塊我們也自己有一些偏SaaS類的產(chǎn)品，目前為3000多個品牌提供了數(shù)字人及數(shù)字資產(chǎn)服務。電商虛擬人直播市占率70%+。

　　關于數(shù)字人的發(fā)明專利，已經(jīng)有將近80項發(fā)明專利，應該來說處在比較偏頭部的位置。此外我們公司還有一些資本領投的介入。

　　下面講下合作伙伴的案例，目前在數(shù)字人領域，和英偉達的合作是比較主要的。我們還開發(fā)了國外的一個平臺，多模態(tài)驅(qū)動接入VRChat平臺驅(qū)動虛擬人，供所有的用戶直接使用。

　　中科深智生成式AI虛擬人

　　ChatGPT使用兩塊東西，第一塊語言模型，第二塊做了語言文字相關的預處理，中科深智動作和表情生成過程當中，并沒有采用傳統(tǒng)的比如說以動作庫或者口型因素等等的方式去驅(qū)動，而是采用了更多訓練級的模型，自己來形成一個更好的生成方式，比如最近會有很多篇文創(chuàng)類、音樂類或者舞蹈類，甚至戲曲類的合作方來找我們，他們希望能夠統(tǒng)一做相關的一些生成，但是這些東西都會有非常專項性的東西，我們公司在底層的一些基礎算法的模型上，包括大模型和數(shù)據(jù)上，可以針對這樣類型偏專業(yè)和垂直類的一些行業(yè)，做專門的強化訓練，以達到更自動化或者說更千人千面的驅(qū)動模式。當然，在驅(qū)動形成之后，還有相關的一些解碼的功能，以及立項的功能，可以符合各種不同人的一些驅(qū)動。

　　這里需要說明一下，任何不同的音樂，我們會根據(jù)不同的節(jié)奏以及之前學到的一些相關的數(shù)據(jù)和整體表情和動作一起去生成預測，也就是說每個音樂甚至是同一個音樂在背后都有不同。

　　具像化描述一下，底層是中臺平臺，包括多模態(tài)的輸入，比如說攝像頭的輸入，中間通過專用的數(shù)據(jù)集和生成式的模型，最終輸出標準的SDK。再比如，大家對動作捕捉會比較熟悉，通過光學或者說是慣性的方式，把數(shù)據(jù)一對一的錄入到相關動畫的骨骼，比如通過3個或者5個check，其他的部分都是以深層次的方式，要坐要跳要動，甚至說通過語義的依據(jù)直接可以把人做相關的一些驅(qū)動或者是直接生成出來，這就是所謂的生成式AI，不同于傳統(tǒng)的動作捕捉以及調(diào)用相關動作庫。這里是標準的SDK輸出，純粹的動作輸出數(shù)據(jù)或者是表情的數(shù)據(jù)，不管是在本地或者是云端，我們只是輸入數(shù)據(jù)和驅(qū)動數(shù)據(jù)的部分。有很多合作方找我們，我們提供包括動作以及相關的渲染能力給他們，同時匹配不同的引擎一起輸出，這樣可以幫助他們提供一站式的服務。

　　我們相對標準的SaaS產(chǎn)品，一共分為三類，一塊是我們已經(jīng)服務于三千多家電商客戶的或者是品牌類客戶的AI電商和虛擬人直播工具百寶箱——自動播、。第二塊是AI快速動畫生成系統(tǒng)——自動畫。第三塊是類ChatGPT以文本的方式來做交互，虛擬人實時交互和應答系統(tǒng)云小七，比如說對話人的方式，就是由人直接驅(qū)動的方式，給各位提供服務。

　　做兩個補充，第一塊從虛擬人的交互，交互的角度背后需要很多的技術，從虛擬人的角度所談到的渲染所需要的時間其實已經(jīng)控制在200毫秒以內(nèi)，而且我們希望整個的交互的時長控制在1.5秒之內(nèi)，第二塊目前我們正在賦能不同的行業(yè)，不管是在小屏端還是大屏端，有更好的一種交互模式，就比如純語音對話，我如何便捷的能達到我的目的，可能會有更多的卡片或者開發(fā)的方式供各位做交互。

　　最后是生成式3D建模和資產(chǎn)處理的功能，國內(nèi)我們可能不會做，但是我們有海外的股東，目前在海外即將開放一個平臺，這個平臺我們可以提供給開發(fā)者自行去做可能會支持更多的一些創(chuàng)作者去做開發(fā)，包括上NFT等。

　　我們可以基于照片生成的3D虛擬人，同時還可以基于聲音克隆的數(shù)字人聲音生成，我們基于自研的底層算法模型、生成式AI虛擬人和Motionverse業(yè)務中臺，打造了系列3D AIGC產(chǎn)品，包括AIGC后期的一個生產(chǎn)，并通過我軟件自動的制作短視頻。

　　我們有一個短視頻制作工具，也是偏公網(wǎng)的，有一部分是可以進行私有化的部署，目前服務超過三千多個品牌，一塊是偏向IP的合作，包括CG動畫的創(chuàng)作者等等，他們沒有辦法讓這些人適當?shù)膭悠饋?，我們來幫助他們實現(xiàn)高性價比的人的驅(qū)動。。

　　垂直行業(yè)的服務合作

　　我們以生成式AI虛擬人技術為核心，打造Motionverse虛擬人業(yè)務中臺，該中臺可支撐開發(fā)和迭代各類應用產(chǎn)品，同時也可通過API、SDK等方式賦能給第三方合作伙伴，支持不同行業(yè)、不同合作伙伴各類虛擬人業(yè)務和元宇宙業(yè)務落地。包括金融領域、文旅類項目、一些高校的合作等。

　　我們服務于多個行業(yè)，有不同的合作方，包括手機終端，也包括一些金融合作領域的合作交流等等，有一個合作：數(shù)潮星球，實際上是中影旗下的一家公司，目前來說從云宇宙的空間到相關的ToB服務等等都是我們做的。

　　還有偏文旅類的項目，目前我們也在介入，我們可以看到三星堆在抖音上的直播，包括上海市文旅局的展廳大屏都是我們做的，還有華住酒店小程序上面做的案例，我們還和騰訊合作一個曼秀雷敦的發(fā)布。

　　還有元教育，我們和學校的合作，例如西安外事學院XR拍攝系統(tǒng)，北京郵電大學人工智能學院，無錫商業(yè)職業(yè)技術學院，江西科技師范大學，云南大學等等，在學校里面匹配他們的一些教學工具。

　　元城市。包括和高德地圖合作的虛擬領航員，還有某運營商元宇宙服務比如My Link APP虛擬客服、數(shù)字分身系統(tǒng)等等。

　　回到今天的主題，在整個OTT和IPTV大屏端上如何展示，剛才各位專家分享無論是網(wǎng)絡層、算力層、應用層，包括運營層面的應用，我覺得在大屏端可以探討出非常多的應用場景。

　　最后，再強調(diào)一下中科深智做的幾件事情，第一件事情比較垂類把底層數(shù)字人的自動驅(qū)動做好，第二件事情做好這個事情底層所有的算法，一個是大模型，第二個是大的數(shù)據(jù)，第三件事情，偏向垂直行業(yè)的強化訓練，這個部分我們也在不斷做積累，我們希望在大屏端找到更好的應用場景，跟大家一起共創(chuàng)未來。

　　謝謝大家！