本文作者：劉知遠(yuǎn)、豈凡超。

關(guān)鍵詞：自然語言處理、預(yù)訓(xùn)練模型。

編者按：

自然語言處理（Nature Language Processing，NLP）是人工智能領(lǐng)域的一個重要方向，被譽(yù)為“人工智能皇冠上的明珠”。自20世紀(jì)50年代以來，我國在自然語言處理領(lǐng)域開展了一系列相關(guān)的科研工作。經(jīng)過多年努力，我國已經(jīng)擁有了一支在這一領(lǐng)域辛勤耕耘且能與世界一流水平團(tuán)隊一較高下的科研隊伍。在這一過程中，出現(xiàn)了一批見證自然語言處理領(lǐng)域發(fā)展，為我國自然語言處理領(lǐng)域作出重大貢獻(xiàn)的學(xué)者。周明就是其中的優(yōu)秀代表。

周明是世界頂級人工智能科學(xué)家，是自然語言處理領(lǐng)域的代表性人物，曾任微軟亞洲研究院副院長、國際計算語言學(xué)學(xué)會（ACL）主席，現(xiàn)任中國計算機(jī)學(xué)會（CCF）副理事長（分管企業(yè)服務(wù)和會員發(fā)展）、中國中文信息學(xué)會常務(wù)理事、創(chuàng)新工場首席科學(xué)家。他還擔(dān)任多所高校的博士生導(dǎo)師。他在自然語言處理領(lǐng)域發(fā)表的文章數(shù)量居世界前列。令人印象特別深刻的是，作為科學(xué)家創(chuàng)業(yè)，周明于2021年6月創(chuàng)辦了瀾舟科技公司。2022年3月，《中國計算機(jī)學(xué)會通訊》（CCCF）動態(tài)欄目編委委托清華大學(xué)副教授劉知遠(yuǎn)對周明進(jìn)行了采訪。希望周明的經(jīng)歷和見解能對自然語言處理領(lǐng)域的科研工作者和廣大學(xué)生有所啟發(fā)。

Q

周老師，作為自然語言處理領(lǐng)域的著名學(xué)者，請您介紹一下您的主要科研經(jīng)歷、工作和成果，讓讀者對您有一個比較全面的了解。

周明：我于1991年在哈爾濱工業(yè)大學(xué)計算機(jī)系獲得博士學(xué)位，1991-1993年在清華大學(xué)計算機(jī)系做博士后?；厥卓蒲兄罚覐?985年在哈工大讀碩士開始就一直從事自然語言處理領(lǐng)域的工作，我的第一個研究課題就是中英機(jī)器翻譯（CEMT-I系統(tǒng)）。我的導(dǎo)師是陳光熙教授和李生教授。在清華做博士后期間，我的合作導(dǎo)師是張鈸教授和黃昌寧教授。這幾位導(dǎo)師的言傳身教、遠(yuǎn)見和日常工作中給予我的精心指點(diǎn)令我受益至今。1993年博士后出站后，我在清華做副研究員，清華的氛圍比較自由，鼓勵大家到海外進(jìn)行學(xué)術(shù)交流。我先后去了香港、日本做訪問學(xué)者。我在1996-1999年間訪問了日本高電社公司，主持中-日、日-中機(jī)器翻譯產(chǎn)品“J-北京”的研發(fā)工作。這款機(jī)器翻譯軟件于1998年開始銷售，其銷量長期在日本同類機(jī)器翻譯產(chǎn)品中名列第一。

1999年9月，我加入了微軟中國研究院（后來改名為“微軟亞洲研究院”，簡稱MSRA)，擔(dān)任自然語言計算組（NLC組）研究員。時任院長李開復(fù)問我加入微軟亞洲研究院有什么心愿。我說有兩個心愿：第一是與同事們一道努力，使研究組進(jìn)入世界先進(jìn)研究組行列；第二是與全體自然語言處理領(lǐng)域的同仁一道努力促進(jìn)中國乃至亞洲的自然語言處理研究進(jìn)入世界前沿水平。當(dāng)時，黃昌寧老師擔(dān)任自然語言處理研究組主任，我作為助手幫助黃老師建立自然語言計算組。不久之后，黃老師因身體原因退休，轉(zhuǎn)而擔(dān)任顧問，我接棒繼續(xù)發(fā)展壯大NLC組。我們拓展了研究領(lǐng)域，從翻譯、文本生成到搜索引擎，再到近幾年的預(yù)訓(xùn)練模型，做了很多具有前瞻性的工作。自然語言計算研究組在國際頂級學(xué)術(shù)會議ACL上發(fā)表了超過100篇文章，技術(shù)成果應(yīng)用在微軟重要的產(chǎn)品中，譬如Windows、Office、Bing、Azure。我主持開發(fā)的微軟對聯(lián)、輸入法、必應(yīng)詞典等產(chǎn)品被眾多用戶試用，成為微軟中文自然語言處理的代表性成果。我們研發(fā)的對話引擎、詩歌生成、新聞推薦等產(chǎn)品應(yīng)用于當(dāng)時引起關(guān)注的微軟小冰中。MSRA自然語言計算組20多年間共計培養(yǎng)了500位實(shí)習(xí)生、20位博士生和20位博士后，這些人后來都成為NLP領(lǐng)域的技術(shù)骨干和領(lǐng)導(dǎo)者。

與此同時，微軟亞洲研究院與中國和海外的大學(xué)建立了很多合作關(guān)系，也與中國計算機(jī)學(xué)會、中國中文信息學(xué)會、中國人工智能學(xué)會一起創(chuàng)辦了很多活動。我積極參與其中并作了很多事情。比如與哈爾濱工業(yè)大學(xué)聯(lián)合設(shè)立哈工大-微軟NLP聯(lián)合研究室及NLP暑期學(xué)校；擔(dān)任了微軟-哈工大聯(lián)合實(shí)驗(yàn)室、微軟-清華聯(lián)合實(shí)驗(yàn)室的主任，曾擔(dān)任CCF自然語言處理專委會主任；多次組織國際自然語言處理和中文計算會議（NLPCC），并推動它進(jìn)入CCF推薦C類國際學(xué)術(shù)會議列表；聯(lián)合中國計算機(jī)學(xué)會和中國中文信息學(xué)會發(fā)起語言與智能高峰會議。在擔(dān)任國際計算語言學(xué)學(xué)會主席期間，我主導(dǎo)成立了ACL亞太分會。

這些年來，我見證了中國自然語言處理研究的崛起，其中一個標(biāo)志是這幾年中國在ACL會議上發(fā)表的文章在世界名列前茅。在過去20余年里有這些機(jī)會見證歷史的偉大變遷，并推動了中國乃至亞洲自然語言處理的人才培養(yǎng)和發(fā)展，我由衷感到高興，也特別感謝微軟亞洲研究院與亞太學(xué)校的合作在這個過程中起到的促進(jìn)人才培養(yǎng)的橋梁作用。

2020年，在微軟工作21年后，我發(fā)現(xiàn)我的兩個心愿似乎都實(shí)現(xiàn)了。于是，我萌生了一個新想法：能不能去創(chuàng)辦一家技術(shù)型的企業(yè)，把自然語言處理技術(shù)做成標(biāo)準(zhǔn)化的產(chǎn)品賦能企業(yè)和社會？于是我在2020年底加入了李開復(fù)創(chuàng)辦的創(chuàng)新工場，擔(dān)任首席科學(xué)家并從零開始孵化一個自然語言處理團(tuán)隊。這似乎是一個傳奇故事，20多年前正是李開復(fù)給了我在微軟亞洲研究院工作的機(jī)會，使我學(xué)到了技術(shù)、知識，培養(yǎng)了管理能力，并利用微軟的平臺，和大家一起努力，使我的兩個心愿真正成為現(xiàn)實(shí)。20年后，又是李開復(fù)的支持，讓我得以創(chuàng)立自然語言處理技術(shù)公司。在此要特別感謝李開復(fù)和創(chuàng)新工場對我的支持。

2021年6月10日，“瀾舟科技”公司成立了。瀾舟科技是一家認(rèn)知智能公司，主要業(yè)務(wù)是針對商業(yè)場景數(shù)字化轉(zhuǎn)型，以自然語言處理為基礎(chǔ)提供商業(yè)洞見類產(chǎn)品。主要產(chǎn)品包括基于預(yù)訓(xùn)練模型的功能引擎（比如搜索、生成、翻譯、對話等）和針對垂直行業(yè)場景的軟件即服務(wù)（Software as a Service，SaaS）產(chǎn)品。希望通過軟件即服務(wù)的形式，幫助中小企業(yè)大幅提高信息獲取、翻譯、調(diào)研、預(yù)測、報告生成和決策輔助能力。瀾舟科技獲得了全球創(chuàng)業(yè)者峰會暨創(chuàng)業(yè)大賽（HICOOL2021）一等獎暨人工智能和金融賽道第一名。我有幸得到了北京市市長陳吉寧和北京市委書記蔡奇的頒獎和接見，他們鼓勵我要做硬核科技。最近瀾舟科技完成了一筆近億元的Pre-A輪融資，公司進(jìn)入到一個新的發(fā)展階段。

回想當(dāng)年，多少自然語言處理同仁的愿望是有一天我國在ACL會議上發(fā)表的論文數(shù)量能夠和美國并駕齊驅(qū)。這一想法在20多年以前屬于天方夜譚，但如今在全國同仁的不斷努力下，我國在ACL會議上發(fā)表的文章數(shù)量已經(jīng)與美國旗鼓相當(dāng)了。不過論文數(shù)量并不代表創(chuàng)新能力，文章也不能直接體現(xiàn)生產(chǎn)力，必須通過轉(zhuǎn)換機(jī)制體現(xiàn)產(chǎn)品的實(shí)際價值。那么我國的自然語言處理領(lǐng)域還有沒有可能再提高呢？我認(rèn)為在原創(chuàng)層面、基礎(chǔ)算法層面，以及硬核科技的技術(shù)體系方面還有廣闊的發(fā)展空間，我會與科研院所、學(xué)術(shù)團(tuán)隊共同努力，也期待瀾舟科技公司能作出應(yīng)有的貢獻(xiàn)。

?

Q

作為資深學(xué)者，您一直在學(xué)術(shù)界發(fā)展，是什么促使您做出創(chuàng)業(yè)的決定？

周明：我觀察到行業(yè)發(fā)展的幾個大趨勢。第一，自然語言處理基于預(yù)訓(xùn)練模型產(chǎn)生了新的變化，在多數(shù)任務(wù)上都能超越以往的水平，取得了新的重大突破。預(yù)訓(xùn)練模型加上微調(diào)的技術(shù)解決了自然語言處理研發(fā)的碎片化問題，帶來生產(chǎn)率的大幅提升。第二，某些國家不斷升級技術(shù)遏制和封鎖，試圖卡住中國科技創(chuàng)新的“脖子”，在此形勢下，我國大力強(qiáng)化科技創(chuàng)新體系能力，加快構(gòu)筑支撐高端引領(lǐng)的先發(fā)優(yōu)勢。這帶來了很多創(chuàng)業(yè)空間。第三，企業(yè)需要數(shù)字化轉(zhuǎn)型，從采購、招聘、物流、獲客、營銷、客服等各個環(huán)節(jié)都需要提高效能，其中涉及的人工智能技術(shù)蘊(yùn)藏著很多機(jī)會。人工智能將會從感知智能發(fā)展到認(rèn)知智能。而在認(rèn)知智能技術(shù)體系下，語言加上決策推理和預(yù)測等是其中的核心技術(shù)。過去幾年，計算機(jī)視覺（CV）領(lǐng)域涌現(xiàn)了以“四小龍（商湯、曠視、云從、依圖）”為代表的一批計算機(jī)視覺公司。然而，認(rèn)知智能領(lǐng)域的公司少之又少，現(xiàn)有的技術(shù)和服務(wù)遠(yuǎn)遠(yuǎn)不能滿足企業(yè)的各種需求。另外，相比創(chuàng)業(yè)的成功，我更享受創(chuàng)業(yè)的過程，通過創(chuàng)業(yè)也能夠提升自己的能力。自然語言處理領(lǐng)域總得有人要走創(chuàng)業(yè)、孵化、產(chǎn)業(yè)化的路。我也希望我所積累的經(jīng)驗(yàn)和教訓(xùn)能夠幫助到業(yè)界的同仁。

Q

請您從技術(shù)發(fā)展的角度，談?wù)勀銓ψ匀徽Z言處理領(lǐng)域未來的預(yù)期。有哪些重要的問題需要解決？我們也注意到，瀾舟科技推出了輕量級中文語言預(yù)訓(xùn)練模型“孟子”，您對未來預(yù)訓(xùn)練模型的發(fā)展有什么規(guī)劃？

周明：首先，從純研究角度，我認(rèn)為“預(yù)訓(xùn)練模型+微調(diào)”在未來3~5年內(nèi)一定是一個重要趨勢，通過借助大數(shù)據(jù)和遷移學(xué)習(xí)有效地解決自然語言處理的碎片化問題。但是現(xiàn)在這個領(lǐng)域方興未艾，不能蓋棺定論，其背后的很多技術(shù)還有待進(jìn)一步提升。比如，Transformer是不是最佳的架構(gòu)體系？有可能某一天會出現(xiàn)一個更好的架構(gòu)體系。其次，預(yù)訓(xùn)練模型目前還是黑箱，把一大堆數(shù)據(jù)放進(jìn)去訓(xùn)練模型，這些模型學(xué)到了一些東西，但是學(xué)到了什么仍然不可見，而且對結(jié)果無法解釋。然而很多應(yīng)用是需要結(jié)果可解釋的，比如在金融、客服和醫(yī)療等場景，如果做不到結(jié)果可解釋，預(yù)訓(xùn)練模型很難被直接使用。最后，現(xiàn)在的預(yù)訓(xùn)練模型還是依賴數(shù)據(jù)，可是很多場合只有很少的數(shù)據(jù)，如果數(shù)據(jù)包含歧視和偏見，將不可避免地產(chǎn)生倫理問題。我和很多研究人員都在考慮：第一代人工智能是知識驅(qū)動型的，第二代人工智能是數(shù)據(jù)驅(qū)動型的，有沒有可能做出第三代人工智能，可以將兩者很好地融合、取長補(bǔ)短呢？

回到預(yù)訓(xùn)練模型落地這一話題，大家呼喚經(jīng)濟(jì)型的策略，這也是我們現(xiàn)在做“孟子”輕量化模型的初衷。做輕量化模型不是把模型做小就行，這背后還包含很多研究。既要模型小，又要提升能力，就要好好推敲算法、知識、領(lǐng)域遷移、數(shù)據(jù)增強(qiáng)等方面的研究。這并非易事，需要我們進(jìn)行更多的嘗試。

Q

過去20年里，您在微軟亞洲研究院看到了國內(nèi)自然語言處理領(lǐng)域的快速發(fā)展，您也在國際組織擔(dān)任很多學(xué)術(shù)服務(wù)職務(wù)，包括ACL主席。您對我國人工智能和自然語言處理領(lǐng)域未來的發(fā)展，有什么意見和建議？您覺得應(yīng)該怎么做？

周明：這是一個很重要、很關(guān)鍵的問題，需要從“頂天”和“立地”兩條線展開?！绊斕臁笔且涯繕?biāo)定得高遠(yuǎn)一些，不為名所累，不為利所擾；要站在科技發(fā)展的角度，確定目標(biāo)，攻克問題?！傲⒌亍笔且屪约鹤龅臇|西對社會和工業(yè)界產(chǎn)生真實(shí)的作用，具備新的價值，可以影響千家萬戶，影響很多企業(yè)，影響社會發(fā)展。所以，首先，人工智能和自然語言處理領(lǐng)域的研究者和學(xué)生的選題要高遠(yuǎn)一些，無論是“頂天”還是“立地”，要敢于選擇一個正確而且難的大題目。然后要講究做事方法，一定要把基礎(chǔ)打牢，把模型、基礎(chǔ)架構(gòu)都做好，要敢于挑戰(zhàn)已有的權(quán)威，而不是墨守成規(guī)，默認(rèn)現(xiàn)有的方法。最后，研究人員應(yīng)多了解孵化和投資的方法。因?yàn)閷W(xué)校里的資源是非常有限的，國家的經(jīng)費(fèi)也非常有限。我們?nèi)绻嘟佑|社會，就可以站得更高，看得更遠(yuǎn)，廣交朋友，就可以更加全面地看待問題，借助很多人的力量，從而更快地推進(jìn)自己的理想。

Q

根據(jù)您個人的成長經(jīng)歷，您對于青年學(xué)者或?qū)W生的發(fā)展有什么建議？

周明：我們趕上了一個非常好的時代，我國的科研地位不斷提升，在世界上的影響越來越廣泛，國家對人工智能等科研投入的力度大幅增強(qiáng)，中國科技崛起的人才優(yōu)勢也逐步凸顯，這為我們營造了一個非常好的土壤，可以讓年輕人快速成長。這其中蘊(yùn)藏著新的重要機(jī)會和巨大的用戶需求，帶動我們前行。我們要好好利用這些優(yōu)勢，走在時代發(fā)展潮流的最前列。

對于剛走向社會的學(xué)生，我建議青年人不要“兩耳不聞窗外事”，只局限于自己的小領(lǐng)域，做自然語言處理的，就只關(guān)心自然語言處理，搞研究的，就只關(guān)心研究。我們應(yīng)該“風(fēng)聲雨聲讀書聲聲聲入耳”，一定要多聽、多想，多看看周圍的領(lǐng)域，集思廣益，博采眾長。青年學(xué)生要有自信，要選擇重大的課題去做，要腳踏實(shí)地，要做真正對國民經(jīng)濟(jì)產(chǎn)生重大影響的研究。我希望青年學(xué)者和學(xué)生們要善于合作，與其他人互動起來，這樣才可以走得更穩(wěn)健，更長遠(yuǎn)。??

本文作者：

劉知遠(yuǎn)

CCF高級會員。清華大學(xué)計算機(jī)系副教授。主要研究方向?yàn)樽匀徽Z言處理。liuzy@tsinghua.edu.cn

豈凡超

CCF學(xué)生會員。清華大學(xué)計算機(jī)系博士生。主要研究方向?yàn)樽匀徽Z言處理。qfc17@mails.tsinghua.edu.cn