自然語言處理（Natural Language Processing, NLP）的發(fā)展歷程可分為三個階段；

1）上世紀(jì)80年代之前，人工智能開始萌芽，基于規(guī)則的語言系統(tǒng)占據(jù)主導(dǎo)，出現(xiàn)了機(jī)器翻譯以及語言對話的初級產(chǎn)品；

2）1980年之后，機(jī)器學(xué)習(xí)在全球范圍內(nèi)興起，自然語言處理走向純粹的統(tǒng)計(jì)學(xué)，90年代后神經(jīng)網(wǎng)絡(luò)引入，NLP進(jìn)入了快速發(fā)展期，并在2000年后逐漸開啟了商業(yè)化進(jìn)程；

3）2017年，Google發(fā)布著名論文《Attention is All YouNeed》，提出了基于Attention注意力機(jī)制構(gòu)建的Transformer模型，2018年OpenAI的GPT模型以及Google的BERT模型均是在Transformer的基礎(chǔ)上構(gòu)建，大語言模型時代正式開啟。

Attention注意力機(jī)制與Transformer是大語言模型的基石。

1）Attention機(jī)制在并行計(jì)算（效率更高）以及解決長距離信息依賴的能力（效果更好）上優(yōu)于過去的神經(jīng)網(wǎng)絡(luò)模型。

2）Transformer模型沒有使用傳統(tǒng)的CNN和RNN結(jié)構(gòu)，其完全是由Attention機(jī)制組成，其中Self-Attention（自注意力）是Transformer的核心。

3）OpenAI的GPT模型和Google的BERT模型雖然都是基于Transformer所構(gòu)建，但GPT模型僅使用了解碼器的部分，而BERT僅使用了編碼器的部分，二者在技術(shù)路線上也走向了兩條不同的道路。

GPT模型的持續(xù)進(jìn)化與能力突變：從CPT-1到CPT-4。

1）GPT-1：有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的結(jié)合，模型的語言泛化能力不夠，更接近于處理特定語言任務(wù)的專家模型，而非通用的語言模型；

2）GPT-2：舍棄了模型微調(diào)，讓多個不同的任務(wù)在同一個模型上學(xué)習(xí)，構(gòu)建了換一個泛化能力更強(qiáng)的語言模型，開始讓語言模型的通用性得到了更加充分的展現(xiàn)；

3）GPT-3：在訓(xùn)練方法上則采取了In-context學(xué)習(xí)，參數(shù)量相較于GPT-2提升了兩個數(shù)量級，達(dá)到了1750億，數(shù)據(jù)集在處理前容量達(dá)到了45TB，是真正意義上的超大語言模型。

4）ChatGPT：引入人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）及近端策略優(yōu)化算法（PPO）等新的訓(xùn)練方式后，語言生成能力大幅提升，并且涌現(xiàn)出了思維鏈及邏輯推理等多種能力。

5）GPT-4：在推理能力、文本生成能力、對話能力等方面有了進(jìn)一步提升的同時，實(shí)現(xiàn)了從大語言模型向多模態(tài)模型進(jìn)化的第一步。

未來展望：多模態(tài)和AIGC。

近年來Google，微軟等海外大廠均已經(jīng)在大模型上展開布局，行業(yè)競爭門檻正在迅速提升，頭部廠商在算力資源、數(shù)據(jù)積累等方面的競爭優(yōu)勢將進(jìn)一步凸顯。

目前大模型的應(yīng)用已經(jīng)不局限于NLP領(lǐng)域，計(jì)算機(jī)視覺、多模態(tài)等領(lǐng)域的大模型開始涌現(xiàn)，而生成算法、大模型與多模態(tài)為三大底層技術(shù)的突破成為了AIGC的質(zhì)變的關(guān)鍵。

AIGC作為人工智能最重要的演進(jìn)方向，能夠自主生成創(chuàng)造出文字、圖片、語音、視頻、代碼等各種形式的內(nèi)容，將深度改變辦公、電商、娛樂、教育、媒體等各行各業(yè)，并引領(lǐng)人工智能實(shí)現(xiàn)從感知理解到生成創(chuàng)造的躍遷。

來源：方正證券

若需獲取本篇完整版資源，請關(guān)注公眾號《俠說》

報(bào)告內(nèi)容節(jié)選如下：