自2022年11月上線后，ChatGPT就一路開掛，不僅5天時間便突破百萬用戶，月活用戶突破 1 億更是僅用時2個月，成為史上增速最快的消費(fèi)級應(yīng)用，遠(yuǎn)超TikTok、Facebook、Google等全球應(yīng)用，可謂來勢洶洶。

ChatGPT表現(xiàn)出很高的人機(jī)交互水平，以及自然語言大模型具備面向通用人工智能的特征，在眾多行業(yè)領(lǐng)域有著廣泛的應(yīng)用潛力。ChatGPT大熱之下，其背后技術(shù)的原理是什么？AIGC的興起給金融、跨境電商等眾多行業(yè)帶來怎樣的機(jī)遇與挑戰(zhàn)？AI又將如何賦能商業(yè)決策？

真正與人類進(jìn)行交流

ChatGPT是由OpenAI團(tuán)隊(duì)開發(fā)和訓(xùn)練的一個人工智能聊天機(jī)器人程序，使用了Transformer架構(gòu)，它擁有語言理解和文本生成能力，尤其是通過連接大量的語料庫來訓(xùn)練模型，這些語料庫包含了真實(shí)世界中的對話，使得ChatGPT具備上知天文下知地理，還能根據(jù)聊天的上下文進(jìn)行互動的能力，做到與真正人類幾乎無異的聊天場景進(jìn)行交流。

2020年5月的GPT-3，參數(shù)量達(dá)到了1750億，堪稱“大力出奇跡”。ChatGPT 作為基于GPT-3.5架構(gòu)開發(fā)的大規(guī)模對話AI模型，剛一問世就令全球?yàn)橹饎?，而其很可能是GPT-4 正式推出之前的演練。

不過，在薩摩耶云科技集團(tuán)數(shù)據(jù)業(yè)務(wù)部副總經(jīng)理易小華看來，從技術(shù)角度來說，ChatGPT本身使用到的技術(shù)在過去5年已被業(yè)界反復(fù)驗(yàn)證，并不存在非常大的突破?！癘penAI多年的厚積為現(xiàn)在的薄發(fā)打下了基礎(chǔ)，它所積累的模型規(guī)模已經(jīng)把競爭對手甩在身后?！币仔∪A感嘆。

ChatGPT的數(shù)據(jù)飛輪開始轉(zhuǎn)動

從GPT1.0到GPT3.0，再到目前ChatGPT所使用的GPT3.5 , 在過去5年的時間，OpenAI投入了大量的人力、財力、算力，將其模型規(guī)模積累壯大。

2018 年 OpenAI 采用 Transformer Decoder 結(jié)構(gòu)在大規(guī)模語料上訓(xùn)練了 GPT1 模型，揭開了NLP模型預(yù)訓(xùn)練+微調(diào)的新范式。2019 年，OpenAI 提出了 GPT2，GPT2 擁有和 GPT1 一樣的模型結(jié)構(gòu)，但得益于更多和更高的數(shù)據(jù)質(zhì)量以及新引入的多任務(wù)學(xué)習(xí)方式，語言生成能力得到大幅提升。之后由于 GPT 采用 Decoder 單向結(jié)構(gòu)天然缺陷是無法感知上下文，Google 很快提出了 Encoder 結(jié)構(gòu)的 Bert 模型可以感知上下文，效果上也明顯有提升，同年 Google 采用Encoder-Decoder 結(jié)構(gòu)，提出了 T5 模型，從此大規(guī)模預(yù)訓(xùn)練語言模型朝著三個不同方向發(fā)展。

易小華認(rèn)為，直到2020 年 OpenAI 提出了 GPT3 將 GPT 模型提升到全新的高度，其訓(xùn)練參數(shù)達(dá)到了 1750 億，訓(xùn)練語料超45TB，自此GPT系列模型的數(shù)據(jù)飛輪便轉(zhuǎn)動起來，超大模型時代開啟， NLP 任務(wù)走向了預(yù)訓(xùn)練+情境學(xué)習(xí)新路線。由于 GPT3 可以產(chǎn)生通順的句子，但是準(zhǔn)確性等問題一直存在，于是出現(xiàn)了InstructGPT、ChatGPT 等后續(xù)優(yōu)化的工作，通過加入強(qiáng)化學(xué)習(xí)模式實(shí)現(xiàn)了模型可以理解人類指令的含義，會甄別高水準(zhǔn)答案，質(zhì)疑錯誤問題和拒絕不適當(dāng)?shù)恼埱蟮取?/p>

強(qiáng)大的ChatGPT如何訓(xùn)練而成？

圖片來自于OpenAI官網(wǎng)

ChatGPT使用了RHLF( 人工反饋強(qiáng)化學(xué)習(xí)能力)方法來訓(xùn)練模型，它分三步來訓(xùn)練:

第一步：訓(xùn)練監(jiān)督策略模型。為了讓GPT 3.5初步具備理解指令的意圖，首先會在數(shù)據(jù)集中隨機(jī)抽取問題，由人類標(biāo)注人員，給出高質(zhì)量答案，然后用這些人工標(biāo)注好的數(shù)據(jù)來微調(diào) GPT-3.5模型，經(jīng)過微調(diào)的模型已經(jīng)具備在對話場景初步理解人類意圖的能力。

第二步：訓(xùn)練獎勵模型。這個階段主要是通過人工標(biāo)注訓(xùn)練數(shù)據(jù)，來訓(xùn)練獎勵模型。在數(shù)據(jù)集中隨機(jī)抽取問題，使用第一階段生成的模型，對于每個問題，生成多個不同的回答。人類標(biāo)注者對這些結(jié)果綜合考慮給出排名順序。這一過程類似于教練或老師輔導(dǎo)。

接下來，使用這個排序結(jié)果數(shù)據(jù)來訓(xùn)練獎勵模型。對多個排序結(jié)果，兩兩組合，形成多個訓(xùn)練數(shù)據(jù)對比。RM模型接受一個輸入，給出評價回答質(zhì)量的分?jǐn)?shù)。

第三步：使用PPO強(qiáng)化學(xué)習(xí)來增強(qiáng)第一步生成的微調(diào)模型。首先初始化 PPO 模型，采樣一批和前面用戶提交 prompt 不同的集合，使用 PPO 模型生成答案。利用第二步回報模型對答案打分，通過產(chǎn)生的策略梯度去更新 PPO 模型。這一步利用強(qiáng)化學(xué)習(xí)來鼓勵 PPO 模型生成更符合獎勵模型判別高質(zhì)量的答案。

然后通過第二和第三步的反復(fù)迭代，使得 PPO 模型的生成能力越來越強(qiáng)，直到人都很難分辨出來。

瑕不掩瑜，新技術(shù)革命風(fēng)暴襲來

盡管ChatGPT表現(xiàn)出出色的上下文對話能力甚至編程能力，完成了大眾對人機(jī)對話機(jī)器人從“人工智障”到“有趣”的印象改觀。我們也要看到，ChatGPT技術(shù)仍然有一些局限性，還在不斷地進(jìn)步。比如，其未經(jīng)大量語料訓(xùn)練的領(lǐng)域缺乏“人類常識”和引申能力，甚至?xí)槐菊?jīng)的“胡說八道”；ChatGPT無法處理復(fù)雜冗長或者特別專業(yè)的語言結(jié)構(gòu)；需要非常大量的算力（芯片）來支持其訓(xùn)練和部署；無論是訓(xùn)練時間或訓(xùn)練成本，都是普通訓(xùn)練者難以接受的；ChatGPT仍然是黑盒模型，目前還未能對內(nèi)在算法邏輯進(jìn)行分解。

從辯證的角度來看，ChatGPT雖不完美，但它提升了理解人類思維的準(zhǔn)確性，帶來了里程碑式的技術(shù)革命。它將帶動AI殺手級應(yīng)用出現(xiàn)，代替大量低端人力，將給世界帶來新的產(chǎn)業(yè)革命；使用大模型（或LLM）可以接近人類的思考能力；科技領(lǐng)先的馬太效應(yīng)會越來越明顯。

ChatGPT在全球迅速掀起浪潮，中信證券研究院報告認(rèn)為，中短期內(nèi)產(chǎn)業(yè)化的方向，主要為文字模態(tài)的AIGC應(yīng)用、代碼開發(fā)相關(guān)、圖像生成領(lǐng)域、智能客服四大板塊。而業(yè)內(nèi)普遍認(rèn)為，ChatGPT引領(lǐng)的大模型正在讓AI技術(shù)從五年前的“能聽會看”，走到今天的“能思考、會創(chuàng)作”，未來有望實(shí)現(xiàn)“會推理、能決策”的重大進(jìn)步，其在決策智能領(lǐng)域有著廣闊的應(yīng)用潛力。

薩摩耶云科技集團(tuán)在決策智能技術(shù)攻堅已取得重要原始性突破，在金融、跨境電商物流、電信領(lǐng)域積累了豐富的經(jīng)驗(yàn)?！拔覀冋J(rèn)為，ChatGPT可在營銷、客服、風(fēng)險控制、代碼編寫、跨境電商內(nèi)容生成等業(yè)務(wù)場景中發(fā)揮重要價值?！币仔∪A說。

重新賦能金融與跨境電商決策

營銷和客服是金融領(lǐng)域不可缺少的兩個環(huán)節(jié)，在營銷環(huán)節(jié)，客戶會通過廣告投放，短信，外呼，app推送，資源位個性化展示、微信公眾號等各種營銷渠道接觸到金融服務(wù)，在客戶服務(wù)環(huán)節(jié)，客戶也會通過App，電話，短信，微信公眾號等渠道享受到客戶服務(wù)。在這期間客戶都會涉及到和機(jī)器人以及金融服務(wù)人員打交道，通過使用金融機(jī)構(gòu)語料訓(xùn)練類似于ChatGPT的語言生成模型，再結(jié)合個性化推薦、用戶畫像，業(yè)務(wù)API等技術(shù)，可以很好的解決線上線下協(xié)同過程中的自動化斷點(diǎn)問題，實(shí)現(xiàn)營銷和客服過程的自動化、提升營銷和客服效率以及用戶體驗(yàn)?！?/p>

易小華表示，把傳統(tǒng)機(jī)器學(xué)習(xí)，個性化推薦、知識圖譜、決策引擎等技術(shù)和LLM模型技術(shù)融合，會進(jìn)一步優(yōu)化模型的智能性，改變信貸服務(wù)的人機(jī)交互體驗(yàn)，使得金融服務(wù)更有溫度?！拔覀冊噲D在營銷和客服場景中建立新的人機(jī)協(xié)作模式。一方面，在營銷上基于人群和標(biāo)簽劃分進(jìn)行個性化推薦，在客服上執(zhí)行問題理解、對話管理、問題推薦、答案生成等機(jī)器任務(wù)。另一方面，人工方面則主要專注于話術(shù)推薦和會話摘要生成等?！?/p>

而在金融風(fēng)險控制方面，利用知識圖譜引擎原有的隱性集團(tuán)識別、深度鏈擴(kuò)散、子圖篩選等能力基礎(chǔ)上，類似于ChatGPT的大語言模型可擴(kuò)展出更高維度、更大范圍的隱性關(guān)系識別。通過對用戶信用數(shù)據(jù)、歷史借款記錄、還款記錄等數(shù)據(jù)分析，評估用戶風(fēng)險等級，實(shí)現(xiàn)對關(guān)鍵要素提取、資料自動化審核、風(fēng)險點(diǎn)提示等風(fēng)控領(lǐng)域的業(yè)務(wù)流程自動化水平的提升，向金融機(jī)構(gòu)提供全方位智能風(fēng)險管理服務(wù)，大幅提高風(fēng)險識別能力。

當(dāng)前，在跨境電商領(lǐng)域的應(yīng)用方面，雖然ChatGPT可以直接幫助賣家生成內(nèi)容，但是效果還是需要進(jìn)一步改進(jìn)。OpenAI提供了對GPT模型進(jìn)行微調(diào)然后生成自定義GPT模型的接口能力，薩摩耶云科技集團(tuán)通過調(diào)用接口，實(shí)現(xiàn)上傳自己的訓(xùn)練語料對GPT模型進(jìn)行微調(diào)，達(dá)到定制化模型的效果。未來，其可幫助跨境電商賣家在產(chǎn)品編寫/優(yōu)化listing、提升跨境電商平臺店鋪和產(chǎn)品排名、輸出豐富優(yōu)質(zhì)的郵件營銷內(nèi)容、提供即時客戶服務(wù)改善客戶體驗(yàn)、開展智能廣告投放提升轉(zhuǎn)化率等層面進(jìn)行降本增效。

人工智能已在多領(lǐng)域廣泛應(yīng)用，ChatGPT高超的人機(jī)交互水平、通用人工智能的特征，讓世界為之驚嘆。“不斷進(jìn)化的ChatGPT將為識別、生成和決策重新賦能，對社會經(jīng)濟(jì)發(fā)展可能會產(chǎn)生滲透性、顛覆性的作用。如何應(yīng)對人工智能會是件有意思的事情，但AI的未來肯定超酷?！币仔∪A對ChatGPT的應(yīng)用前景充滿期待。