人工智能算法加載在芒果TV
人工智能有三大要素:算法、算力和數(shù)據(jù)。其中后兩者,是人工智能的物質(zhì)基礎(chǔ),而算法,更像是人工智能的靈魂。
1956年,達(dá)特茅斯大會(huì)正式提出了“人工智能(Artificial Intelligence)”這一概念,受時(shí)代背景限制,這時(shí)的人工智能準(zhǔn)確率和效率遠(yuǎn)遠(yuǎn)低于人類水平,并未引起太多反響;上世紀(jì)80年代,BP(Back Propagation)算法被提出,引發(fā)了人工智能的第二輪高潮,但受算力限制導(dǎo)致應(yīng)用難以落地,這波浪潮再次進(jìn)入低谷;2006年,深度學(xué)習(xí)被提出,同時(shí)硬件資源不斷豐富提升,算力瓶頸得到了突破,引發(fā)了迄今為止的第三次人工智能高潮,并日益深刻地改造著世界。
這場(chǎng)改造已經(jīng)滲透到了各個(gè)行業(yè),比如在影視行業(yè),2001年,史蒂文·斯皮爾伯格導(dǎo)演的電影《人工智能》還著重在探討人性,2018年同樣由他導(dǎo)演的《頭號(hào)玩家》,已經(jīng)像使用說(shuō)明書(shū)一般,向觀眾展示了人工智能技術(shù)在未來(lái)世界的廣泛應(yīng)用。
同樣的變化也發(fā)生在中國(guó),9月18日,在湖南長(zhǎng)沙,2021世界計(jì)算大會(huì)落下了帷幕。與此同時(shí)落下帷幕的,還有大會(huì)的專題活動(dòng)——第二屆“馬欄山杯”國(guó)際音視頻算法大賽頒獎(jiǎng)盛典暨高峰論壇。
據(jù)了解,由芒果TV聯(lián)合馬欄山視頻文創(chuàng)園主辦的本屆算法大賽共設(shè)置了視頻補(bǔ)全、視頻推薦與音樂(lè)節(jié)拍檢測(cè)三大賽題,與音視頻行業(yè)的場(chǎng)景密切結(jié)合?;顒?dòng)現(xiàn)場(chǎng),芒果TV頒發(fā)了不同賽題的冠亞季軍獎(jiǎng),并公布了芒果TV首個(gè)虛擬主持人“YAOYAO”。提起芒果TV,不少人第一時(shí)間的反應(yīng)還是《乘風(fēng)破浪的姐姐》和《披荊斬棘的哥哥》,一家長(zhǎng)視頻平臺(tái)為什么要舉辦算法大賽?這個(gè)賽事又創(chuàng)造了哪些價(jià)值?
解決真實(shí)的問(wèn)題
這些問(wèn)題,在隨后的頒獎(jiǎng)儀式上,得到了集中的回答。
本屆算法大賽賽題關(guān)注的都是目前視頻行業(yè)的痛點(diǎn)問(wèn)題,比如如何提高推薦算法的精準(zhǔn)度,擦除視頻中的人物或元素等。以往靠人力成本高效率低,如果人工智能算法可以解決這些問(wèn)題,對(duì)芒果TV這樣的視頻平臺(tái)能產(chǎn)生極大的效益。通過(guò)舉辦算法大賽的方式,不但能集思廣益,提出有效的解決方案,而且能夠吸引有解決能力的人工智能人才——這兩者都是芒果TV需要的。

第二屆“馬欄山杯”算法大賽頒獎(jiǎng)典禮暨高峰論壇現(xiàn)場(chǎng)
首先頒發(fā)獎(jiǎng)項(xiàng)的賽道是“視頻補(bǔ)全”,獲得冠軍、亞軍和季軍的隊(duì)伍(或個(gè)人)分別是“rainbow”,“景-artii”隊(duì)和“沖呀皮卡丘”隊(duì)。中國(guó)科技大學(xué)信息科學(xué)技術(shù)學(xué)院教授、博導(dǎo)陳志波介紹,早在文藝復(fù)興時(shí)期,意大利的藝術(shù)家就通過(guò)修復(fù)的方式,讓中世紀(jì)時(shí)代的壁畫(huà)恢復(fù)如新,這項(xiàng)工作稱之為“inpainting”,這也成為了目前研究領(lǐng)域?qū)D像視頻的修復(fù)和補(bǔ)全這項(xiàng)工作的定義。
隨著數(shù)字媒體的不斷涌現(xiàn),“inpainting”技術(shù)在越來(lái)越多應(yīng)用領(lǐng)域得到應(yīng)用,比如對(duì)老照片的修復(fù),對(duì)照片遮擋、污染的去除,目前人工智能對(duì)圖像視頻的修復(fù)和補(bǔ)全有著廣闊的應(yīng)用場(chǎng)景,但理論研究上也存在相應(yīng)的挑戰(zhàn),不管是算法的性能還是其復(fù)雜度,以及針對(duì)實(shí)際應(yīng)用的優(yōu)化,都有很大的潛在空間。
“整個(gè)賽道的設(shè)計(jì)還是非常符合實(shí)際運(yùn)用的廣泛需求,”陳志波評(píng)價(jià)道,“比如說(shuō)后期的編輯要把一些物體進(jìn)行抹除,像背景、文字,logo等。大賽組織者是從實(shí)際應(yīng)用的需求來(lái)設(shè)計(jì)整個(gè)賽道的具體任務(wù),包括固定區(qū)域挖空后進(jìn)行填補(bǔ),對(duì)視頻里動(dòng)態(tài)目標(biāo)檢測(cè)后進(jìn)行消除,還有一些處理隨機(jī)背景噪聲,局部水印等任務(wù)?!?/p>
獲得第一名的“rainbow”,目前是西安電子科大的在讀博士,去年就是同一賽道的第二名。他所設(shè)計(jì)的算法,正如許多已經(jīng)在現(xiàn)實(shí)中得到廣泛應(yīng)用的算法一樣,不論是在主觀性的指標(biāo)上,還是在耗時(shí)、算法的復(fù)雜度上都達(dá)到了比較好的均衡。陳志波介紹,“rainbow”的算法主要是基于2020年的“Spatial-Temporal Transformation”,但針對(duì)實(shí)際應(yīng)用的需求做了大量的工程性的改進(jìn)和策略上的優(yōu)化,包括半精度參數(shù)的選擇,包括對(duì)輸入圖像進(jìn)行裁剪,減少對(duì)內(nèi)容的占用。

第二個(gè)頒發(fā)獎(jiǎng)項(xiàng)的賽道是“視頻推薦”,獲得冠軍、亞軍和季軍的隊(duì)伍(或個(gè)人)分別是“線性回歸”隊(duì)、“OTTO”隊(duì)和江離。
視頻推薦是一個(gè)非常經(jīng)典的賽題,任務(wù)要求據(jù)用戶已經(jīng)看的過(guò)視頻,預(yù)測(cè)用戶下一個(gè)要看什么視頻,或?qū)κ裁匆曨l感興趣。這個(gè)賽道在第一屆“馬欄山杯”國(guó)際音視頻算法大賽就已經(jīng)存在,可見(jiàn)其對(duì)視頻行業(yè)的重要性,今年的比賽設(shè)置在“看了又看”的模塊上進(jìn)行升級(jí),不僅希望推薦匹配用戶感興趣的內(nèi)容,同時(shí)更強(qiáng)調(diào)內(nèi)容的主流價(jià)值觀和用戶的長(zhǎng)期體驗(yàn),非常具有挑戰(zhàn)性。
浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院副教授、博導(dǎo)趙洲介紹,本次排名前三的隊(duì)伍,在算法的設(shè)計(jì)上殊途同歸,都將算法分成了召回、排序和回歸三個(gè)模塊。獲得第一名的“線性回歸”團(tuán)隊(duì)在每一個(gè)模塊都有突出的亮點(diǎn),技術(shù)路徑非常詳盡和合理,運(yùn)用到的技巧也很有趣。
最后一個(gè)頒獎(jiǎng)的賽道是“音樂(lè)節(jié)拍檢測(cè)”,獲得冠軍、亞軍和季軍的隊(duì)伍(或個(gè)人)分別是吳健、王志宇和“十一月的肖邦”隊(duì)。音樂(lè)節(jié)拍檢測(cè)算法,能夠極大地豐富音樂(lè)的沉浸感和可玩性,具有廣闊的應(yīng)用前景,本次大賽的賽題主要就是節(jié)拍的檢測(cè),選手用1100個(gè)數(shù)據(jù)來(lái)訓(xùn)練,100個(gè)數(shù)據(jù)作為測(cè)試,然后根據(jù)準(zhǔn)確率來(lái)決定優(yōu)勝。
中國(guó)科學(xué)院語(yǔ)言聲學(xué)與內(nèi)容理解重點(diǎn)實(shí)驗(yàn)室主任顏永紅介紹,對(duì)音樂(lè)的自動(dòng)分類、分析與檢索是一個(gè)新的研究領(lǐng)域,在還沒(méi)有智能機(jī)的時(shí)代,搜索音樂(lè)只能通過(guò)歌名、演唱者或者歌詞,做音樂(lè)信號(hào)處理,目的就是要讓計(jì)算機(jī)具有理解音樂(lè)的能力?!皣?guó)際上對(duì)音樂(lè)方面的研究,最基礎(chǔ)的像音符的識(shí)別、節(jié)奏的識(shí)別,再高一點(diǎn)就到流派的識(shí)別,包括對(duì)主旋律的提取和對(duì)樂(lè)器音色的分析,對(duì)和弦的識(shí)別等,再往上就可以用來(lái)做教學(xué)質(zhì)量的評(píng)價(jià)和音樂(lè)檢索。”
據(jù)統(tǒng)計(jì),本屆算法大賽共吸引了全球十多個(gè)國(guó)家與地區(qū)1959支隊(duì)伍參賽,覆蓋了全球知名高校、重要科研院所與知名互聯(lián)網(wǎng)企業(yè),最終優(yōu)勝團(tuán)隊(duì)的算法達(dá)到了業(yè)界頭部的水平,相比第一屆算法大賽,本屆吸引到的隊(duì)伍數(shù)量要比去年多出51.4%
不為技術(shù)設(shè)限
2017年底,盧海波加入芒果TV。起初是作為廣告中心技術(shù)團(tuán)隊(duì)的負(fù)責(zé)人,后來(lái)成為產(chǎn)品技術(shù)中心的負(fù)責(zé)人。在電視媒體時(shí)代,湖南廣電做出了在中國(guó)極具影響力的視頻內(nèi)容,到了移動(dòng)互聯(lián)網(wǎng)時(shí)代,內(nèi)容創(chuàng)作同樣重要,但由于場(chǎng)地和展現(xiàn)形式都發(fā)生了變化,技術(shù)在視頻產(chǎn)業(yè)的重要性凸顯。

芒果TV
“我們需要依靠技術(shù)來(lái)更好地理解我們的用戶,在這個(gè)基礎(chǔ)上指導(dǎo)節(jié)目的策劃生產(chǎn),視頻產(chǎn)品從策劃生產(chǎn)到播放、互動(dòng)的形式,也是不一樣的。如果我們不在技術(shù)上面跟得上,配合內(nèi)容團(tuán)隊(duì)的話,內(nèi)容團(tuán)隊(duì)的創(chuàng)作就會(huì)受限,一是效率不高,二是缺少數(shù)據(jù)的支持。”盧海波告訴記者,除了內(nèi)容方面外,芒果TV在企業(yè)運(yùn)作方面也自研了完整的內(nèi)部系統(tǒng)平臺(tái),來(lái)提高公司運(yùn)營(yíng)的效率。
但對(duì)技術(shù)的投入不僅需要真金白銀,還需要優(yōu)秀的技術(shù)人才,在招聘人才的過(guò)程中,盧海波發(fā)現(xiàn),許多人對(duì)芒果TV有很深的誤解?!八麄冇X(jué)得,芒果TV就是把湖南衛(wèi)視的內(nèi)容拿過(guò)來(lái),然后做一個(gè)播放器播出來(lái),我們招技術(shù)人員時(shí),很多技術(shù)人員不認(rèn)為我們是互聯(lián)網(wǎng)產(chǎn)品技術(shù)團(tuán)隊(duì),就是做播放器的,所以招人,尤其是招算法的人很難。”因此,承辦算法大賽,對(duì)芒果TV來(lái)說(shuō)有重要意義,既可以讓外界知道芒果TV對(duì)技術(shù)很重視,還可以接觸到許多工程師、高校教師和學(xué)生,最終有利于吸引人才。
芒果TV產(chǎn)品技術(shù)中心智能算法部產(chǎn)品應(yīng)用組算法的工程師王心瑩,就曾在去年首屆的算法大賽上,以“炸米餅啊”戰(zhàn)隊(duì)的名義,獲得了特定點(diǎn)位跟蹤賽道的冠軍。王心瑩碩士畢業(yè)于倫敦大學(xué)學(xué)院計(jì)算機(jī)圖形視覺(jué)圖像專業(yè),曾獲得CVPR2020活體檢測(cè)競(jìng)賽單模態(tài)賽道第五名,也是上一屆所有賽道冠軍里唯一一個(gè)單槍匹馬作戰(zhàn)的,當(dāng)時(shí)她正在福州一家專注深度學(xué)習(xí)/機(jī)器學(xué)習(xí)領(lǐng)域的公司擔(dān)任算法工程師,當(dāng)問(wèn)到她參賽的原因,她坦誠(chéng)地講,點(diǎn)位跟蹤賽題的要求與她平時(shí)的研究領(lǐng)域十分契合,除此之外,芒果TV提供的待遇和對(duì)人才的重視也是吸引她的地方。
比賽中,她別出心裁地將“醫(yī)療圖像配準(zhǔn)方案”應(yīng)用于解題思路中,當(dāng)時(shí)其他戰(zhàn)隊(duì)中幾乎沒(méi)有人使用這個(gè)方法,最終以MSE0.588的絕對(duì)優(yōu)勢(shì)成績(jī)遙遙領(lǐng)先拿到了第一名。而她的優(yōu)異表現(xiàn)也吸引了盧海波的注意,在極力的邀請(qǐng)以及給出優(yōu)渥的入職條件后,王心瑩也答應(yīng)了這份offer。

第一屆“馬欄山杯”算法大賽視頻點(diǎn)位跟蹤冠軍王心瑩
同期入職的不只有王心瑩,在第一屆算法大賽的前后,芒果TV共計(jì)引入超過(guò)50名一線算法人才,而這些人才的引進(jìn),也為芒果TV帶來(lái)了技術(shù)上的質(zhì)變——在 CVPR2021 視頻人體時(shí)空定位賽事中,芒果TV的團(tuán)隊(duì)與國(guó)內(nèi)外高校、研究所團(tuán)隊(duì)同臺(tái)競(jìng)技,一舉拿下全球亞軍。同時(shí),他們開(kāi)發(fā)的首個(gè)大規(guī)模商用的自動(dòng)化3D視頻現(xiàn)實(shí)增強(qiáng)系統(tǒng),目前也已可以支撐數(shù)十億產(chǎn)值廣告收入。
“我是這么認(rèn)為的,我們(芒果TV)不會(huì)為自己設(shè)一個(gè)限制,什么要做什么不做,我們有責(zé)任去探索、去研究新的技術(shù),既是為了未來(lái)做準(zhǔn)備,在這個(gè)過(guò)程中我們做出了好的東西,我們也會(huì)把它對(duì)外輸出,甚至商用,實(shí)際我們不少技術(shù)已經(jīng)進(jìn)入這個(gè)階段了,”談到對(duì)技術(shù)的重視,盧海波告訴記者,“我們湖南廣電人是有開(kāi)拓精神的,我們從一個(gè)傳統(tǒng)媒體走到現(xiàn)在這樣的新型主流媒體集團(tuán),我們也是‘不守規(guī)矩’的,也許再過(guò)十年,我們會(huì)是最大的互動(dòng)娛樂(lè)媒體平臺(tái),只要我們自己不為自己設(shè)限,我覺(jué)得我們可以做很多的事情?!?/p>
2015年,我國(guó)首次將人工智能納入國(guó)家重點(diǎn)計(jì)劃,并在2017年上升至國(guó)家戰(zhàn)略,人工智能的創(chuàng)新水平持續(xù)提升。去年9月17號(hào),習(xí)近平總書(shū)記考察了馬欄山視頻文創(chuàng)產(chǎn)業(yè)園,以“守正創(chuàng)新”點(diǎn)題,指明了“文化+科技”的文創(chuàng)產(chǎn)業(yè)發(fā)展方向,而“北有中關(guān)村,南有馬欄山”的文化戰(zhàn)略定位目標(biāo),也顯示了湖南人的雄心壯志。
正如湖南廣播影視集團(tuán)有限公司(湖南廣播電視臺(tái))黨委書(shū)記、董事長(zhǎng)、芒果超媒股份有限公司黨委書(shū)記、董事長(zhǎng)張華立在算法大賽致辭中所說(shuō)的那樣:“以芒果TV為原點(diǎn),通過(guò)大賽的新算法進(jìn)行鏈接,我們希望不斷延伸產(chǎn)業(yè)鏈條,拓展合作平臺(tái),進(jìn)一步豐富芒果生態(tài)。?”