3月20日，由小牛翻譯主辦，東北大學自然語言處理實驗室協(xié)辦的小牛翻譯直播（NiuTrans Talk）第6期如約與大家見面了。本次邀請東北大學自然語言處理實驗室馬湘楠博士做客小牛翻譯直播間，為聚焦機器翻譯前沿技術的各位朋友分享《從GPT-1到GPT-4：大語言模型發(fā)展對多語言翻譯的啟示》。

本次報告就目前大熱的ChatGPT及GPT-4等語言模型展開了介紹。馬湘楠博士首先帶我們回顧了GPT系列語言模型的簡單發(fā)展歷程，探討了大語言模型面臨的scaling law等問題，并分析了大語言模型所具有的涌現(xiàn)能力及其可能的來源。接下來，就ChatGPT的一些關鍵技術，如instruct tuning（指令微調(diào)）和RLHF（基于人類反饋的強化學習）等方法進行了詳細的說明，并探討了對應方法為語言模型所帶來的性能提升。并簡要介紹了最新的GPT-4模型的一些工作內(nèi)容。然后，馬湘楠博士著重從大語言模型的多語言能力出發(fā)，通過相關的工作分析了該類大語言模型的多語言翻譯能力，以此探討大語言模型對多語言翻譯所帶來的啟示。并在報告的結(jié)尾還對大語言模型存在的一些問題進行了討論，如毒性文本注入、缺乏事實性驗證、模型偏見及非法目的濫用等。

在報告后的Q&A環(huán)節(jié)，馬湘楠博士與包括B站、知乎、抖音、視頻號、微博在內(nèi)眾多平臺的網(wǎng)友就ChatGPT相關提問進行了廣泛討論，進一步加強了對該類大語言模型的認知，以下是本環(huán)節(jié)的問題和解答：

Q1：ChatGPT的邏輯推理能力是如何學到的呢？

A1：我們今天討論的這種思維鏈技術，它很好的提升了大規(guī)模語言模型在復雜推理任務上的性能。但是思維站是一種prompt的方法，它并未對模型的參數(shù)或者是模型的行為進行改變。那么也就是說這種大規(guī)模語言模型的復雜推理能力，很有可能是模型在預訓練階段本身就已經(jīng)具有或?qū)W習到的知識。我們可以通過思維鏈這樣的方式來誘導模型使他在這種推理的相關任務上獲得性能的提升。這也為我們帶來一個思考，就是大語言模型中是否還有一些我們未知的能力存在。如果有的話，那我們是否能通過一些類似的方式，比如構(gòu)建一些新的prompt來進一步去挖掘模型在新任務上的潛力，這也是未來研究一個很好的著手點。

Q2：ChatGPT能否實現(xiàn)實時信息學習呢？

A2：從文獻來說，ChatGPT它的學習數(shù)據(jù)是基于2021年6月份以前的，那么它是無法進行實時信息的學習的。但是ChatGPT比較有趣的一點是我們可以通過這種上下文的交互，以歷史信息的方式，為它注入一些它沒有掌握的知識。或者也可以參考OpenAI前幾年的WebGPT的方式，結(jié)合外部的web網(wǎng)頁去注入新的知識。此外，GPT-4提到了一個比較關鍵的工作，就是它能夠通過小規(guī)模的語言模型來評估大規(guī)模的語言模型損失的性能，這大幅度降低了這種大規(guī)模語言模型的試錯成本。那么新的信息產(chǎn)生后，重新訓練模型或者是對原有的模型進行微調(diào)，可能也不再那么消耗資源了。所以，雖然ChatGPT無法進行實時信息的學習，但是在ChatGPT中注入新的知識還是有很多的技術路線可以選擇的。

Q3：ChatGPT在處理語言時如何處理語言之間的翻譯？

A3：通過介紹可以看到在早期的GPT-2或者GPT-3里，它的訓練數(shù)據(jù)并沒有很多的這種多語言訓練數(shù)據(jù)。但是它們具有了一些初步的多語言翻譯能力。那么，我們目前推測來說，這種翻譯能力可能是因為GPT這類語言模型學習到了多種語言的同一個語義表示空間。一旦學習到了這種元語義表示空間之后，語言模型就能夠打破不同語言的表示壁壘，從而具備多語言翻譯這樣的一個能力。那么ChatGPT或GPT-4模型多語言語義理解能力的增強可能也是其翻譯能力獲得較大提升的一大原因。

Q4：ChatGPT可以用來完成哪些任務？

A4：目前來說，它的功能是非常強大的。學術領域來說，它可以完成之前不同研究方向上的目標任務，比如對話問答、摘要生成、代碼生成等等。那么ChatGPT的提出可能會弱化這些研究問題的分界，讓我們可以通過prompt的方式，針對不同的任務構(gòu)建合適的提示，從而實現(xiàn)不同任務。那么除了研究領域之外，在應用領域ChatGPT能完成的任務也很多，比如做這種范文模板生成，或是醫(yī)療等特定領域的咨詢、對話客服等等。以ChatGPT為基礎的應用在最近也是層出不窮，這也側(cè)面證明了ChatGPT功能十分強大。

Q5：ChatGPT在社會和倫理這一層面可能會存在哪些問題？

A5：作為大規(guī)模語言模型，往往會存在一系列的風險問題。比如報告中介紹到的毒性文本注入，或是缺乏事實性驗證，都可能會導致這類大規(guī)模的語言模型產(chǎn)生一些有毒輸出或無效輸出的問題。此外，ChatGPT存在的這種偏見問題也可能帶來一些社會性的問題。另外大規(guī)模語言模型的非法目的濫用情況也值得關注。所以關于這類大規(guī)模語言模型的社會或倫理層面的問題，需要共同的監(jiān)管。

Q6：GPT和NMT 翻譯能力比較如何呢？

A6：通過微軟的一些實驗分析，我們可以看到這種大規(guī)模語言模型的翻譯性能大部分情況下還是不如神經(jīng)機器翻譯系統(tǒng)的，但是其展現(xiàn)出了很強的潛力。從實驗的結(jié)果來看，對于這種單句的翻譯來說，大規(guī)模語言模型使用這種few shot 的方式進行學習后，在一些語對上的性能已經(jīng)非常接近翻譯系統(tǒng)了。雖然說它與目前最好的有監(jiān)督翻譯系統(tǒng)還有一定的差距；特別是在一些特定的低資源語對上的效果很差，但也不失為我們提供了一種新的思路。

Q7：GPT等大模型會讓我們實現(xiàn)通用人工智能嗎？

A7：ChatGPT在一些表現(xiàn)形式上，其實已經(jīng)很接近我們通用人工智能的目標了。但是我們還無法將它定義為已經(jīng)實現(xiàn)了通用人工智能。鑒于它本身模型的黑盒運算，我們無法掌握它是否真的了解或者是學習到了語言方面的相關知識，還是僅僅是它的行為表現(xiàn)符合了通用人工智能的一些相關定義。那么OpenAI本身也發(fā)布了它的下一步智能路線發(fā)展圖，會將GPT-4或者是ChatGPT的模型作為下一步AGI探索的基石，所以說這種大規(guī)模語言模型還是很有潛力的，是邁向AGI比較重要的一步 。

Q8：能否通過技術路線實現(xiàn)對ChatGPT的復刻？

A8：我們報告中有對GPT系列模型進行了一個簡單整理，它的發(fā)展路線是非常明確的。那么我們跟隨這個技術路線，能否使用這些方法去復刻一個類似的語言模型，在目前來說是比較困難的。ChatGPT發(fā)布之后，其實已經(jīng)有很多的公司進行了嘗試。使用這種指令微調(diào)或者是基于人類反饋強化學習的方法來改進各自的語言模型，但是從結(jié)果來說，目前還沒有像ChatGPT或GPT-4這么驚艷的表現(xiàn)。ChatGPT不僅僅是技術的堆砌，它更是OpenAI各個部門之間團隊合作的產(chǎn)品?？赡馨ù罅康倪@種數(shù)據(jù)工程、基礎設施建設、模型優(yōu)化以及模型對齊等工作，所以說單從技術路線角度進行復刻難度是比較大的，實際實施起來會有很多的坑等我們?nèi)ソ鉀Q。

以上就是直播問答環(huán)節(jié)的全部內(nèi)容，更多關于報告的詳細內(nèi)容可點擊下方閱讀原文訪問機器翻譯學堂（https://school.niutrans.com）觀看直播回放。NiuTrans Talk，是由小牛翻譯主辦的，每期將邀請到不同領域的機器翻譯專家進行講解，分享行業(yè)干貨知識，帶你走進機器翻譯的世界。更多精彩內(nèi)容盡在小牛翻譯直播間?，想了解更多有關機器翻譯的內(nèi)容請關注機器翻譯學堂或小牛翻譯官方微博號，與小牛翻譯一起探討機器翻譯技術。

專注于機器翻譯技術基礎研究50年，擁有百余人的機器翻譯產(chǎn)學研團隊，自主研發(fā)以中文為核心的NiuTrans機器翻譯系統(tǒng)，支持388種語言隨心互譯。通過豐富的應用與功能，為用戶提供機器翻譯服務全棧式解決方案，致力于為機器翻譯產(chǎn)業(yè)化應用提供基礎平臺，幫助企業(yè)級用戶在國際業(yè)務中消除語言障礙。