這個自然語言處理的模型牛到爆！
不同于過去的機器人助手，它不僅能像真人一樣聊天，回答的內(nèi)容更加隨機，而且可以保證一定的專業(yè)性和參考性，
隨著人們的使用，提供高質(zhì)量信息的獲取方式，人們發(fā)現(xiàn)，它不僅可以編寫出像樣的程序，檢查出代碼的BUG，
還能幫助學生寫出不錯的論文，
甚至能夠通過從醫(yī)資格、律師資格的考試，這些能力讓人驚掉了下巴！
國內(nèi)某廠表示，ChatGPT從回答的邏輯性和完整性上都遠超國內(nèi)大模型，國內(nèi)大模型帶有明顯的拼湊感，
今天我們來看看ChatGPT到底厲害在哪里呢？其背后的技術(shù)原理涉及到什么？
由于ChatGPT的論文還沒有發(fā)布，我們還無法直接了解其背后的方法論，不過在OpenAI的官網(wǎng)，我們還是能找到一些蛛絲馬跡，
比如訓練使用了強化學習，并且加上一些人工反饋，使用的模型和InstructGPT是類似的，而InstructGPT論文去年就發(fā)布了，
縱觀全文，其實其中很重要的一張圖就能說明ChatGPT這個訓練方式，
首先第一步，是OpenAI找了一些人，文章說的是找了40多個外包團隊，他們會寫出各種各樣的問題，有點類似于小孩子看的“十萬個為什么”，然后繼續(xù)讓some people寫出答案，有了問題和答案后會在這上面做一些fine-training，中文叫做監(jiān)督學習下的微調(diào)，調(diào)整的模型叫做SFT；
其次第二步，這里的InstructGPT做了一些什么事情呢？它會根據(jù)具體的問題生成一些隨機答案，比如說A、B、C、D，然后根據(jù)這些答案讓人們來進行排序，排序后的對比數(shù)據(jù)進行RM訓練，也就是獎勵模型的訓練，最終模型會用于人類偏好的輸出；
最后第三步，根據(jù)生成好的標量獎勵，結(jié)合前面生成好的SFT模型，再不斷的更新梯度，SFT+RM->Update，形成迭代；
那么接下來我就不和大家介紹文章中使用的實驗數(shù)據(jù)和損失函數(shù)了，有興趣的同學可以下載論文去學習下
ChatGPT解決了過去AI領(lǐng)域，大力難出奇跡的一個困局，在過去深度學習NLP領(lǐng)域，隨著模型體積的增大，往往需要依靠大量數(shù)據(jù)支持，但是隨著數(shù)據(jù)量增加，人們發(fā)現(xiàn)干擾信息也會增多，提取有效知識信息的難度也會成指數(shù)級增加，而ChatGPT就是提供了一個解決了這樣矛盾的思路；
ChatGPT大語言模型的成功，其實也標志著模型有大一統(tǒng)的趨勢，它讓很多NLP子領(lǐng)域失去了存在的意義，機器翻譯、文本歸納、QA問答、網(wǎng)頁搜索，而實時上這些領(lǐng)域單獨拎出來都是百億千億級別的公司??！
一個ChatGPT就這么牛了！那站在AI更高的角度審視一下ChatGPT的地位，
