近期，針對部分語音社交軟件和涉“深度偽造”技術(shù)的應(yīng)用未履行安全評估程序，國家互聯(lián)網(wǎng)信息辦公室、公安部指導(dǎo)各地網(wǎng)信部門、公安機(jī)關(guān)依法約談了11家企業(yè)。

“深度偽造”技術(shù)是什么？有專家向南都記者介紹，“深度偽造”是指基于深度學(xué)習(xí)等制作音視頻的合成技術(shù)，通俗來講，可以把它理解為一種能夠復(fù)刻、復(fù)現(xiàn)個人生物識別信息的技術(shù)。盡管存在一些正向應(yīng)用，但深度偽造技術(shù)也暗藏著財產(chǎn)侵害、人身侵害、危害公共安全甚至國家安全的風(fēng)險。

南都記者調(diào)查發(fā)現(xiàn)，事實上，深度偽造及類似的合成技術(shù)的濫用已催生了一批黑灰產(chǎn)：有賣家出售破解版換臉軟件，并打包出售通過換臉軟件制作的女明星淫穢視頻；短視頻平臺“假靳東”事件后，仍有假冒“東哥”賬號在平臺活躍。

專家向南都記者分析稱，防范“深度偽造”技術(shù)的濫用，最重要的是實現(xiàn)有效的社會共治。其表示，從此次約談可以看到，科技企業(yè)發(fā)展新技術(shù)和新業(yè)務(wù)，也要積極防范風(fēng)險；此外，大眾在追求新奇的同時，不斷提高隱私、安全保護(hù)意識。

點(diǎn)名：國家網(wǎng)信辦約談涉“深度偽造”技術(shù)應(yīng)用企業(yè)

11家互聯(lián)網(wǎng)企業(yè)涉語音社交軟件和“深度偽造”技術(shù)被約談。

3月18日，國家互聯(lián)網(wǎng)信息辦公室發(fā)布通告稱，為加強(qiáng)對具有輿論屬性或社會動員能力的互聯(lián)網(wǎng)信息服務(wù)和相關(guān)新技術(shù)新應(yīng)用的安全管理，近日，國家互聯(lián)網(wǎng)信息辦公室、公安部指導(dǎo)各地網(wǎng)信部門、公安機(jī)關(guān)加強(qiáng)對語音社交軟件和涉“深度偽造”技術(shù)的互聯(lián)網(wǎng)新技術(shù)新應(yīng)用安全評估工作。

針對近期未履行安全評估程序的語音社交軟件和涉“深度偽造”技術(shù)的應(yīng)用，國家互聯(lián)網(wǎng)信息辦公室、公安部指導(dǎo)多地網(wǎng)信部門、公安機(jī)關(guān)依法約談映客、小米、快手、字節(jié)跳動、鯨準(zhǔn)數(shù)服、云賬戶、喜馬拉雅、阿里巴巴、網(wǎng)易云音樂、騰訊、去演等11家企業(yè)，督促其按照《網(wǎng)絡(luò)安全法》《具有輿論屬性或社會動員能力的互聯(lián)網(wǎng)信息服務(wù)安全評估規(guī)定》等法律法規(guī)及政策要求，認(rèn)真開展安全評估，完善風(fēng)險防控機(jī)制和措施，并對安全評估中發(fā)現(xiàn)的安全隱患及時采取有效整改措施，切實履行企業(yè)信息內(nèi)容安全主體責(zé)任。

南都記者了解到，“深度偽造”(Deepfake)是英文deep learning（深度學(xué)習(xí)）和fake（偽造）的混合詞，即利用深度學(xué)習(xí)算法，實現(xiàn)音視頻的模擬和偽造。

北京師范大學(xué)網(wǎng)絡(luò)法治國際中心執(zhí)行主任、博導(dǎo)，中國互聯(lián)網(wǎng)協(xié)會研究中心副主任吳沈括向南都記者介紹稱，通俗來講，可以把它理解為一種能夠復(fù)刻、復(fù)現(xiàn)個人生物識別信息的技術(shù)，例如在近日爆紅短視頻平臺的“螞蟻呀嘿”里的變臉以及其他語音仿生、軀態(tài)仿生的場景等。

中國信息通信研究院云計算與大數(shù)據(jù)研究所人工智能部高級業(yè)務(wù)主管劉碩向南都記者介紹稱，從廣義上講，“深度偽造”是指基于深度學(xué)習(xí)等制作音視頻的合成技術(shù)。大家比較關(guān)注的有人臉替換、人臉重現(xiàn)、人臉編輯等技術(shù)。

劉碩解釋，其中，人臉替換是指將目標(biāo)人臉替換到現(xiàn)有圖像或視頻中；人臉重現(xiàn)是指操縱圖像或視頻中的人臉進(jìn)行眼睛、嘴型等變化；人臉編輯涉及到對皮膚、年齡、發(fā)型等方面的改變。這一技術(shù)在影視、娛樂等領(lǐng)域存在一些正向的應(yīng)用。

南都記者注意到，在上述被約談的11家企業(yè)中，“去演”所涉業(yè)務(wù)就與“深度偽造”技術(shù)有關(guān)。

公開信息顯示，去演是一款手機(jī)照片類App，隸屬于深圳市新國都智能有限公司，專注于AI智能視頻換臉、自制表情包等服務(wù)。

其在應(yīng)用商店上的簡介顯示，去演App共有“ai視頻換臉”“ai表情包制作”“ai寫真換裝”三大核心功能，用戶可用ai技術(shù)一鍵替換影視綜藝人臉、制作專屬表情包等，產(chǎn)品特色為“換的像：利用深度合成技術(shù)，相似度超過99%”。

這款“換臉”App深受歡迎，與之同類型應(yīng)用軟件也有不少。南都記者在蘋果應(yīng)用商店檢索發(fā)現(xiàn)，去演App目前約有4.5萬次下載，經(jīng)過4萬多次評分后獲得5分的滿分；在應(yīng)用商店中檢索“變臉”“換臉”等關(guān)鍵詞后，系統(tǒng)推薦“ZAO”“螞蟻呀嘿變臉視頻制作”“Face AI”“AI換臉相機(jī)”“Xpression”“Mug Life”等應(yīng)用軟件，功能多為照片、視頻變臉。

亂象：女明星被AI換臉的淫穢視頻在網(wǎng)絡(luò)打包出售

AI換臉軟件爆紅，其背后的“深度偽造”技術(shù)實際上暗藏多種風(fēng)險。

國內(nèi)較早使用深度學(xué)習(xí)技術(shù)提供服務(wù)的廣州圖普科技網(wǎng)絡(luò)公司曾向南都記者介紹，相對于“換臉”技術(shù)本身，由于人臉識別具有高度的直接識別性和唯一性，因此在對人臉信息處理的過程中，存在更高的數(shù)據(jù)泄露、非法濫用、盜用等隱患。

吳沈括也向南都記者舉例表示，深度偽造技術(shù)主要存在三大風(fēng)險。

“財產(chǎn)侵害，特別是被用在精準(zhǔn)電信網(wǎng)絡(luò)詐騙當(dāng)中；人身侵害，比如兒童色情和虛擬色情的場景當(dāng)中；公共安全甚至國家安全，比如偽造公眾人物或者國家領(lǐng)導(dǎo)人的虛擬音視頻，造成社會秩序紊亂甚至國家關(guān)系沖突的嚴(yán)重后果?！?/p>

南都記者注意到，此前，多款A(yù)I換臉軟件曾因爭議被要求下架、整改。

近日，一段配以“螞蟻呀嘿”魔性音樂的換臉視頻在各大社交平臺刷屏，提供該特效的AI換臉軟件Avatarify也因此火爆全網(wǎng)，并登頂App Store免費(fèi)軟件下載榜首。不過，幾天后的凌晨，該軟件在App Store中國區(qū)悄然下架。

此前，號稱“僅需一張照片，出演天下好戲”的AI換臉軟件“ZAO-逢臉造戲”，也曾經(jīng)歷過上線6天，就從爆紅到被要求整改的巨大落差。

風(fēng)險之外，南都記者調(diào)查發(fā)現(xiàn)，深度偽造及類似的合成技術(shù)的濫用已催生了一批黑灰產(chǎn)。

3月22日，南都記者以?“明星換臉”“換臉”“AI”等為關(guān)鍵詞在網(wǎng)絡(luò)檢索發(fā)現(xiàn)，有賣家出售破解版換臉軟件，并打包出售通過換臉軟件制作的女明星淫穢視頻。

在一個名叫“AI明星換臉”的QQ群中，一名客服向南都記者發(fā)來一份名為“AI換臉最新說明”的文本文件。

文件中介紹，該工作室共有四種消費(fèi)套餐，價格在28元至138元不等。其中，68元可購買一套AI技術(shù)明星換臉淫穢視頻，包含換成了迪麗熱巴、劉詩詩、劉亦菲、楊穎等當(dāng)紅女明星的視頻，共500部左右。而138元則可購買“明星換臉App在線VIP版”，其介紹稱，這是“全網(wǎng)最全的換臉App，包含國內(nèi)外明星，所有換臉的作者都會上傳”。

通過合成視頻偽造身份，犯罪分子還可能利用這項技術(shù)實施詐騙。2020年的“假靳東”事件正暴露了視頻合成技術(shù)的風(fēng)險與隱憂。

此前，南都記者調(diào)查發(fā)現(xiàn)，在多家短視頻平臺上存在不少“假靳東”賬號。此類賬號皆以靳東照片為頭像，大多以“靳·東”“小東”“東哥哥”“賀函”等為昵稱，剪輯靳東照片、影視片段做再配音處理。明星效應(yīng)之下騙取點(diǎn)贊與粉絲后，有賬號甚至開始直播帶貨變現(xiàn)。

3月22日，南都記者在短視頻平臺以“靳東”“靳·東”“小東”“東哥哥”“賀函”等昵稱進(jìn)行檢索發(fā)現(xiàn)，已無法查找到上述“靳東”系列賬號。

但在一個自稱為“總導(dǎo)演”、昵稱末尾為“東哥”的賬號主頁上，仍有許多配以文字和音樂的演員靳東影視片段剪輯視頻，評論區(qū)里仍有不少用戶以“姐弟”相稱、留言祝福。

規(guī)制：政策法規(guī)提供明確指引，專家建議社會共治

“深度偽造”技術(shù)暗藏風(fēng)險的背后，這一新技術(shù)該如何監(jiān)管？

南都記者梳理發(fā)現(xiàn)，近年來，國家有關(guān)部門已制定出臺多項法律法規(guī)，進(jìn)一步強(qiáng)化對此類技術(shù)應(yīng)用的規(guī)制。

例如，2019年11月，國家網(wǎng)信辦等部門聯(lián)合印發(fā)《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》，要求利用新技術(shù)新應(yīng)用制作、發(fā)布、傳播非真實音視頻信息的，應(yīng)當(dāng)以顯著方式予以標(biāo)識；網(wǎng)絡(luò)音視頻信息服務(wù)提供者發(fā)現(xiàn)使用者利用基于深度學(xué)習(xí)、虛擬現(xiàn)實等的虛假圖像、音視頻生成技術(shù)制作、發(fā)布、傳播謠言的，應(yīng)當(dāng)及時采取相應(yīng)的辟謠措施。

2019年12月，國家網(wǎng)信辦印發(fā)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》，明確網(wǎng)絡(luò)信息內(nèi)容服務(wù)使用者和網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者、網(wǎng)絡(luò)信息內(nèi)容服務(wù)平臺不得利用深度學(xué)習(xí)、虛擬現(xiàn)實等新技術(shù)新應(yīng)用從事法律、行政法規(guī)禁止的活動。

2021年1月起正式實施的民法典中，第1019條明確規(guī)定了肖像權(quán)的消極權(quán)能，其中“不得利用信息技術(shù)手段偽造等方式侵害他人的肖像權(quán)”“未經(jīng)肖像權(quán)人同意，不得制作、使用、公開肖像權(quán)人的肖像”的規(guī)定，被視為將AI換臉納入到肖像權(quán)的保護(hù)范圍。

吳沈括告訴南都記者，從目前的生態(tài)來看，深度偽造技術(shù)泛濫的其中一個重要原因，是它能夠被低成本低門檻地獲取和運(yùn)用，由此可能導(dǎo)致不法分子廣泛獲得這種技術(shù)的運(yùn)用能力。

在風(fēng)險防范方面，他建議，最重要的是要實現(xiàn)有效的社會共治?！捌渲蟹浅Ｖ匾囊画h(huán)是企業(yè)在上線類似技術(shù)模塊之前，及時有效的實現(xiàn)自我評估，通報國家有關(guān)監(jiān)管機(jī)關(guān)，實現(xiàn)風(fēng)險防治領(lǐng)域的公私合作。在這一點(diǎn)上，《具有輿論屬性或社會動員能力的互聯(lián)網(wǎng)信息服務(wù)安全評估規(guī)定》具有重要的指引意義和實踐操作價值。”

劉碩也認(rèn)為，防范“深度偽造”技術(shù)的濫用需要進(jìn)行“群防群治”。政府主管部門已給出了明確的指引，除按照政策法規(guī)執(zhí)行外，還可以通過舉辦大賽等手段鼓勵鑒偽技術(shù)研發(fā)，不斷推動成熟的鑒偽技術(shù)商業(yè)化部署。積極發(fā)揮行業(yè)組織作用，推動形成行業(yè)共識、自律公約等。

劉碩表示，從此次約談可以看到，我國主管部門加強(qiáng)對新技術(shù)風(fēng)險治理的態(tài)度是堅決的；號召科技企業(yè)在發(fā)展新技術(shù)和新業(yè)務(wù)的同時，也要積極防范風(fēng)險；此外，也希望大眾在追求新奇的同時，不斷提高隱私、安全保護(hù)意識。