最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

全網(wǎng)最全!ChatGPT 研究框架萬字解讀

2023-03-16 10:49 作者:BFT白芙堂機器人  | 我要投稿

原創(chuàng) |文BFT機器人


核心觀點

ChatGPT市場反應熱烈,國內(nèi)外巨頭紛紛入場


據(jù)統(tǒng)計,ChatGPT日活躍用戶數(shù)的增速遠超Instagram,1月份平均每天有超過1300萬名獨立訪問者使用ChatGPT,是去年12月份的兩倍多;國內(nèi)外科技巨頭都非常重視ChatGPT引發(fā)的科技浪潮,積極布局生成式AI,國內(nèi)廠商百度、騰訊等也高度關注ChatGPT積極探索前沿技術,相關深度應用也即將推出。


ChatGPT經(jīng)歷多類技術路線演化,逐步成熟與完善


ChatGPT所能實現(xiàn)的人類意圖,來自機器學習、神經(jīng)網(wǎng)絡以及Transformer模型的多種技術模型積累。Transformer建模方法成款以后,使用一套統(tǒng)一的工具來開發(fā)各種模態(tài)的基礎模型這種理念得以成熟,隨后GPT-1、GPT-2、GPT-3模型持續(xù)演化升級,最終孵化出ChatGPT文本對話應用。


AIGC跨模態(tài)產(chǎn)業(yè)生態(tài)逐步成熟,商用落地未來可期


AIGC產(chǎn)業(yè)生態(tài)當前在文本、音頻、視頻等多模態(tài)交互功能上持續(xù)演化升級,奠定了多場景的商用基礎??缒B(tài)生成技術也有望成為真正實現(xiàn)認知和決策智能的轉(zhuǎn)折點。


ChatGPT乘東風,商業(yè)架構(gòu)日益清晰


隨著ChatGPT Plus發(fā)布,商業(yè)化序幕已經(jīng)拉開。ChatGPT在傳媒,影視、營銷,娛樂以及數(shù)實共生助力產(chǎn)業(yè)升級等領域均可產(chǎn)生極大助益,提升生產(chǎn)力曲線,多維度賦能虛擬經(jīng)濟和實體經(jīng)濟。


01


市場概況:ChatGPT-AI平民化的里程碑


OpenAI在成立之初便備受資本矚目,與微軟合作加速商業(yè)化進程


ChatGPT是由OpenAl團隊研發(fā)創(chuàng)造,OpenAl是由創(chuàng)業(yè)家埃隆馬斯克、美國創(chuàng)業(yè)孵化器Y Combinator總裁阿爾特曼、全球在線支付平臺PayPa聯(lián)合創(chuàng)始人彼得·蒂爾等人于2015年在舊金山創(chuàng)立的一家非盈利的AI研究公司,擁有多位硅谷重量級人物的資金支持,啟動資金高達10億美金;OpenAl的創(chuàng)立目標是與其它機構(gòu)合作進行A的相關研究,并開放研究成果以促進A技術的發(fā)展。


OpenAI發(fā)展勢頭強勁,商業(yè)化趨勢明顯


OpenAI 的ChatGPT是生成式人工智能技術(AIGC)浪潮的一部分


隨著算法的不斷迭代,生成式人工智能技術(AIGC)不斷發(fā)展


ChatGPT是在GPT基礎上進一步開發(fā)的自然語言處理模型


GPT模型是一種自然語言處理( NLP )模型,使用多層變換器( Transformer)來預測下一個單詞的概率分布,通過訓練在大型文本語料庫上學習到的語言模式來生成自然語言文本。從GPT-1到 GPT-3 智能化程度不斷提升,ChatGPT 的到來也是 GPT-4 正式推出之前的序章。


ChatGPT由GPT-1到InstructGPT模型的不斷成熟而逐步形成


ChatGPT發(fā)布后用戶數(shù)持續(xù)暴漲,市場影響力迅速提升


根據(jù)UBS發(fā)布的研究報告顯示,ChatGPT在1月份的月活躍用戶數(shù)已達1億,成為史上用戶數(shù)增長最快的消費者應用相比之下,TikTok花了九個月的時間月活躍用戶數(shù)才破億,而Instagram則花費了兩年半的時間,同時,根據(jù)Similar Web的披露信息,Spotif在四年半后僅積累了1億月活躍用戶。


根據(jù)Similar Web的數(shù)據(jù),1月份平均每天有超過1300萬名獨立訪問者使用chatGPT,是去年12月份的兩倍多。


圖4:ChatGPT日活躍用戶數(shù)的增速遠超Instagram


對比各大熱門平臺月活躍用戶數(shù)破億所需時長,ChatGPT的成長速度驚人


ChatGPT已能覆蓋較多能力域


由于ChatGPT包含了更多主題的數(shù)據(jù),能夠處理更多小眾主題。ChatGPT能力范圍可以覆蓋回答問題、撰寫文章、文本摘要、語言翻譯和生成計算機代碼等任務。


ChatGPT具備諸多先進性特征


ChatGPT嵌入了人類反饋強化學習以及人工監(jiān)督微調(diào),因而具備了理解上下文、連貫性等諸多先進特征,解鎖了海量應用場景當前,ChatGPT所利用的數(shù)據(jù)集只截止到2021年。


在對話中,ChatGPT會主動記憶先前的對話內(nèi)容信息(上下文理解),用來輔助假設性的問題的回復,因而ChatGPT也可實現(xiàn)連續(xù)對話,提升了交互模式下的用戶體驗,同時,ChatGPT也會屏藏敏感信息,對于不能回答的內(nèi)容也能給予相關建議。


ChatGPT提升的核心點如下所示


科技巨頭不斷下注AI行業(yè),chatGPT帶動新一輪AI發(fā)展浪潮


2023年初,微軟和谷歌均宣布裁員計劃,但都加大了在AI行業(yè)的投入。


科技巨頭紛紛加大ChatGPT相關投入


國內(nèi)外科技巨頭積極布局生成式AI,部分公司已有成型產(chǎn)品


國內(nèi)外科技巨頭都非常重視chatGPT引發(fā)的科技浪潮,積極布局生成式AI。


國內(nèi)外科技公司積極布局生成式AI


谷歌:面對ChatGPT構(gòu)成的威脅,注資3億美元投資竟品Anthropic


在chatGPT發(fā)布后,谷歌CEO在公司內(nèi)部發(fā)布了“紅色警報”Code Red),敦促團隊解決ChatGPT對公司搜索引警業(yè)務構(gòu)成的威脅,同時批準了在谷歌搜索引擎中加入AI聊天機器人的計劃。


2月4日,谷歌注資3億美元投資ChatGPT競品-Anthropic,谷歌將獲得約10%的股份,Anthropic計劃將次輪資金用于購買谷歌云計算部門的計算資源;Anthropic開發(fā)了一款名為Claude的智能聊天機器人,據(jù)稱可與ChatGPT相媲美(仍未發(fā)布)Anthropic和OpenAI淵源頗深,其聯(lián)合創(chuàng)始人曾擔任OpenAI研究副總裁。


微軟:OpenAI的最大投資方,開始利用ChatGPT提高產(chǎn)品競爭力


微軟將ChatGPT視為新一代技術革命,將ChatGPT整合進Bing搜索引擎、Ofice全家桶、Azure云服務、Teams程序等產(chǎn)品中微軟近期宣布推出視頻會議及遠程協(xié)作平臺的高級付費版Microsoft Teams Premium,訂閱者可享用OpenAIGPT提供支持的大型語言模型技術,用AI自動生成會議筆記,此舉或?qū)oom、谷歌會議等平臺形成巨大沖擊


亞馬遜:ChatGPT受到重點關注,已廣泛運用在各種工作職能中


ChatGPT 已經(jīng)被亞馬遜用于各種不同的工作職能中,包括回答面試問題、編寫軟件代碼和創(chuàng)建培訓文檔等公司內(nèi)部員工在SIack表示,亞馬遜Amazon Web Services(AWS)部門已經(jīng)成立了一個小型工作組,以更好地了解人工智能對其業(yè)務的影響。


美國新媒體巨頭Buzzfeed踩準ChatGPT風口,兩天內(nèi)股價飆升3倍


1月29日,美國新媒體巨頭Buzzeed宣布計劃采用ChatGPT協(xié)助內(nèi)容創(chuàng)作,其股價一夜間暴漲近120%,兩天內(nèi)飆升逾300%成交量突破4.38億股( 其月平均成交量不足2500萬股)。消息公布后同類型公司股票成交量也迎來歷史高峰:C3.ai本月成交量超過7200萬股,為自去年6月以來最多語音A軟件公司SoundHoundAl的成交量約為6450萬股,幾乎是其月平均值的三倍。


Stability Al : Stable Diffusion大熱,Open AI在圖片生成AI大有可為


Stability Al有著與0pen Al相同的創(chuàng)業(yè)理念:構(gòu)建開源A項目,促進A發(fā)展,其成功證明Open Al在圖片生成領域同樣大有可為。公司的開源模型Stable Diffusion可以根據(jù)文字生成圖片,只需要幾秒鐘,就可以生成分率、清晰度高,同時不失真實性和藝術性的圖片。


Jasper:采用同類底層技術,進一步證明ChatGPT的巨大商業(yè)潛力Jasper


文案自動生成平臺Jasper,其技術底層是 OpenAl 的 GPT-3,在成立僅 18 個月后就達到了15 億美元的高估值√IBM、Autodesk等巨頭公司均是Jasper的付費用戶,足以證明ChatGPT底層技術具備巨大的商業(yè)潛力。ChatGPT出現(xiàn)后,其技術領先性和受歡迎程度對Jasper形成了強烈沖擊。


國內(nèi)廠商(百度&騰訊):高度關注ChatGPT,積極探索前沿技術


百度:

1月10日,百度宣布將升級百度搜索的“生成式搜索”能力,智能解答用戶的搜索提問;2月7日,百度宣布將在3月份完成其ChatGPT產(chǎn)品的內(nèi)測,面向公眾開放,該項目名字為文心一言(ERNIE Bot )。


百度指出,生成式AI和搜索引警是互補關系而不是替代;據(jù)路透社報道,百度計劃于3月將類似ChatGPT 的 AI 對話服務作為獨立應用推出之后再逐步將其合并到搜索引擎中。


騰訊:

2月3日,騰訊公布一項人機對話專利,能夠?qū)崿F(xiàn)機器與用戶之間自然且順暢的溝通。


AIGC創(chuàng)業(yè)公司大比拼,國外ChatGPT的優(yōu)勢遙遙領先并有望延續(xù)


國外創(chuàng)業(yè)公司涉及的AIGC產(chǎn)品領域十分豐富,相關應用日漸成熟


AI 需要大量資金、人力投入和數(shù)據(jù)積累,國內(nèi)市場中巨頭更具優(yōu)勢


人工智能不僅需要巨大的投入,還需要龐大的用戶數(shù)據(jù)基礎,只有互聯(lián)網(wǎng)巨頭才有這個能力產(chǎn)出偉大的產(chǎn)品。


國外是微軟、谷歌、亞馬遜,而國內(nèi)則是百度、騰訊等互聯(lián)網(wǎng)巨頭最具潛力;相比國外巨頭,國內(nèi)巨頭正投入大量資金和人力成本快速發(fā)展人工智能技術,在沒有硝煙的人工智能競賽中,中國企業(yè)也將異軍突起。


02


技術路徑:基于人類反饋系統(tǒng)ChatGPT助力跨模態(tài)AI生成應用


ChatGPT經(jīng)歷多類技術路線演化,逐步成熟與完善


ChatGPT所能實現(xiàn)的人類意圖,來自于機器學習、神經(jīng)網(wǎng)絡以及Transformer模型的多種技術模型積累。


ChatGPT經(jīng)過多類技術積累,最終形成針對人類反饋信息學習的大規(guī)模預訓練語言模型


ChatGPT模型在以往模型的基礎上有了多方面的顯著提升



Transformer的應用標志著基礎模型時代的開始


轉(zhuǎn)移學習(Transfer Learning)使基礎模型成為可能


技術層面上,基礎模型通過轉(zhuǎn)移學習(TransferLearning)(Thrun 1998)和規(guī)模(scale)得以實現(xiàn)。轉(zhuǎn)移學習的思想是將從一項任務中學習到的“知識”(例如,圖像中的對象識別)應用于另一項任務(例如,視頻中的活動識別)。


在深度學習中,預訓練又是轉(zhuǎn)移學習的主要方法:在替代務上訓練模型(通常只是達到目的的一種手段),然后通過微調(diào)來適應感興趣的下游任務。轉(zhuǎn)移學習(Transfer Learning)使基礎模型成為可能。


大規(guī)?;?scale)使基礎模型更強大,因而GPT模型得以形成


大規(guī)模需要三個要素:

  • 計算機硬件的改進例如,GPU吞吐量和內(nèi)存在過去四年中增加了10倍;

  • Transformer模型架構(gòu)的開發(fā)( Vaswaniet al.2017 ),該架構(gòu)利用硬件的并行性來訓練比以前更具表現(xiàn)力的模型;

  • 以及更多訓練數(shù)據(jù)的可用性。


基于Transformer的序列建模方法現(xiàn)在應用于文本、圖像、語音、表格數(shù)據(jù)、蛋白質(zhì)序列、有機分子和強化學習等,這些例子的逐步形成使得使用一套統(tǒng)一的工具來開發(fā)各種模態(tài)的基礎模型這種理念得以成熟。


例如,GPT-3( Brown et al.2020 )與GPT-2的15億參數(shù)相比GPT-3具有1750億個參數(shù),允許上下文學習,在上下文學習中,只需向下游任務提供提示(任務的自然語言描述),語言模型就可以適應下游任務,這是產(chǎn)生的一種新興屬性。


Transformer奠定了生成式AI領域的游戲規(guī)則


Transformer擺脫了人工標注數(shù)據(jù)集的缺陷,模型在質(zhì)量上更優(yōu)更易于并行化,所需訓練時間明顯更少。Transformer通過成功地將其應用于具有大量和有限訓練數(shù)據(jù)的分析,可以很好地推廣到其他任務。


2017年在Ashish Vaswanietal的論文《AttentionIs All You Need》中,考慮到主導序列轉(zhuǎn)導模型基于編碼器-解碼器配置中的復雜遞歸或卷積神經(jīng)網(wǎng)絡,性能最好的模型被證明還是通過注意力機制(attentionmechanism)連接編碼器和解碼器,因而《AttentionIs AllYou Need)中提出了一種新的簡單架構(gòu)——Transformer,它完全基于注意力機制完全不用重復和卷積,因而這些模型在質(zhì)量上更優(yōu),同時更易于并行化,并且需要的訓練時間明顯更少。


Transformer出現(xiàn)以后,迅速取代了RNN系列變種,躋身主流模型架構(gòu)基礎。(RNN缺陷正在于流水線式的順序計算)


Transformer模型架構(gòu)如下所示


Transformer實現(xiàn)的不同技術場景對應的不同技術原理


Transformer架構(gòu)可分為自回歸系列( 例如GPT-3,偏好生成性任務)、雙向Transformer+Mask的自編碼系列( 例如BERT偏好自然語言理解)、Encoder-decoder架構(gòu)(例如T5,使用雙向/單向attention,偏好條件文本生成)


GPT-1:借助預訓練,進行無監(jiān)督訓練和有監(jiān)督微調(diào)


GPT-1模型基于Transformer解除了順序關聯(lián)和依賴性的前提,采用生成式模型方式,重點考慮了從原始文本中有效學習的能力,這對于減輕自然語言處理( NLP)中對監(jiān)督學習的依賴至關重要。


GPT(Generative Pre-trainingTransformer)于2018年6月由OpenAl首次提出GPT模型考慮到在自然語言理解中有大量不同的任務,盡管大量的末標記文本語料庫非常豐富,但用于學習這些特定任務的標記數(shù)據(jù)卻很少,這使得經(jīng)過區(qū)分訓練的模型很難充分執(zhí)行。同時,大多數(shù)深度學習方法需要大量手動標記的數(shù)據(jù),這限制了它們在許多缺少注釋資源的領域的適用性。


在考慮以上局限性的前提下,GPT論文中證明,通過對未標記文本的不同語料庫進行語言模型的生成性預訓練,然后對每個特定任務進行區(qū)分性微調(diào),可以實現(xiàn)這些任務上的巨大收益。和之前方法不同,GPT在微調(diào)期間使用任務感知輸入轉(zhuǎn)換,以實現(xiàn)有效的傳輸,同時對模型架構(gòu)的更改最小。


結(jié)合形成了一種使用無監(jiān)督預訓練和有監(jiān)督微調(diào)相結(jié)合的語言理解任務的“半監(jiān)督方法”


GPT-1:模型更簡化、計算加速,更適合自然語言生成任務( NLG)


GPT相比于Transformer等模型進行了顯著簡化。


相比于Transformer,GPT訓練了一個12層僅decoder的解碼器(原Transformer模型中包含Encoder和Decoder兩部分)。


相于Gooale的BERT(BidirectionalEncoder Representations from Transformers,雙編碼生成Transformer),GPT僅采用上交預測單詞(BERT采用了基于上下文雙向的預測手段)。


GPT-2:采用多任務系統(tǒng),基于GPT-1進行優(yōu)化


GPT-2在GPT-1的基礎上進行諸多改進,實現(xiàn)執(zhí)行任務多樣性,開始學習在不需要明確監(jiān)督的情況下執(zhí)行數(shù)量驚人的任務在GPT-2階段,OpenAI去掉了GPT-1階段的有監(jiān)督微調(diào)(fine-tuning),成為無監(jiān)督模型。


大模型GPT-2是一個15B參數(shù)的Transformer,在其相關論文中它在8個測試語言建模數(shù)據(jù)集中的7個數(shù)據(jù)集上實現(xiàn)了當時最先進的結(jié)果模型中,Transfomer堆疊至48層。GPT-2的數(shù)據(jù)集增加到8 million的網(wǎng)頁、大小40GB的文本。


GPT-2仍未解決應用中的諸多瓶頸


GPT-2聚焦在無監(jiān)督、zero-shot( 零次學習)上,然而GPT-2訓練結(jié)果也有不達預期之處,所存在的問題也待優(yōu)化。


在GPT-2階段,盡管體系結(jié)構(gòu)是任務無關的,但仍然需要任務特定的數(shù)據(jù)集和任務特定的微調(diào):要在所需任務上實現(xiàn)強大的性能,通常需要對特定于該任務的數(shù)千到數(shù)十萬個示例的數(shù)據(jù)集進行微調(diào)。


GPT-3取得突破性進展,任務結(jié)果難以與人類作品區(qū)分開來


GPT-3對GPT-2追求無監(jiān)督與零次學習的特征進行了改進,GPT-3利用了過濾前45TB的壓縮文本,在諸多NLP數(shù)據(jù)集中實現(xiàn)了強大性能。


GPT-3是一個具有1750億個參數(shù)的自回歸語言模型,比之前的任何非稀疏語言模型多10倍對于所有任務(在few-shot設置下測試其性能),GPT-3都是在沒有任何梯度更新或微調(diào)的情況下應用的,僅通過與模型的文本交互來指定任務和few-shot演示。


GPT-3在許多NLP數(shù)據(jù)集上都有很強的性能(包括翻譯、問題解答和完形填空務),以及一些需要動態(tài)推理或領域適應的任務(如解譯單詞、在句子中使用一個新單詞或執(zhí)行三位數(shù)算術)。GPT-3可以生成新聞文章樣本(已很難將其與人類撰寫的文章區(qū)分開來。


InstructGPT模型在GPT-3基礎上進一步強化


InstructGPT使用來自人類反饋的強化學習方案RLHF ( reinforcement learning from human feedback)通過對大語言模型進行微調(diào),從而能夠在參數(shù)減少的情況下,實現(xiàn)優(yōu)于GPT-3的功能。


InstructGPT提出的背景:使語言模型更大并不意味著它們能夠更好地遵循用戶的意圖,例如大型語言模型可以生成不真實、有毒或?qū)τ脩艉翢o幫助的輸出,即這些模型與其用戶不一致。另外,GPT-3雖然選擇了少樣本學習(few-shot)和繼續(xù)堅持了GPT-2的無監(jiān)督學習,但基于few-shot的效果,其稍遜于監(jiān)督微調(diào)(fine-tuning)的方式。


基于以上背景,OpenAI在GPT-3基礎上根據(jù)人類反饋的強化學習方案RHLF,訓練出獎勵模型(reward model)去訓練學習模型(即:用AI訓練AI的思路)。


InstructGPT的訓練步為:對GPT-3監(jiān)督微調(diào)一訓練獎勵模型(reward model)-增強學習優(yōu)化SFT(第二、第三步可以選代循環(huán)多次)


ChatGPT核心技術優(yōu)勢:提升了理解人類思維的準確性


InstructGPT與chatGPT屬于相同代際的模型,ChatGPT只是在instructGPT的基礎上增加了Chat屬性,且開放了公眾測試


ChatGPT提升了理解人類思維的準確性的原因在于利用了基于人類反饋數(shù)據(jù)的系統(tǒng)進行模型訓練


ChatGPT得益于通用(基礎)模型所構(gòu)建 AI 系統(tǒng)的新范式


基礎模型( Foundation Model) 在廣泛的應用中整合構(gòu)建機器學習系統(tǒng)的方法,它為許多任務提供了強大的杠桿作用。


"基礎模型是在深度神經(jīng)網(wǎng)絡和自我監(jiān)督學習的基礎上演化而來?;A模型基于廣泛數(shù)據(jù)(通常使用大規(guī)模自我監(jiān)督)訓練的任何模型,可以適應(例微調(diào))廣泛的下游任務,目前例子包括BERT(Devlin et al.)GPT-3 (Brown et al.2020)和CLIP (Radford et al.2021)。機器學習使學習算法同質(zhì)化(例如,邏輯回歸),深度學習使模型架構(gòu)同質(zhì)化(如卷積神經(jīng)網(wǎng)絡),而基礎模型使模型本身同質(zhì)化(比如GPT-3)。


人工智能的發(fā)展呈現(xiàn)同質(zhì)化的過程


ChatGPT以基礎模型為杠桿,可適用多類下游任務


ChatGPT采用了GPT3.5 (lnstructGPT) 大規(guī)模預訓練模型,在自然語言理解和作品生成上取得極大性能提升。


鑒于傳統(tǒng)NLP技術的局限問題,基于大語言模型(LLM)有助于充分利用海量無標注文本預訓練,從而文本大模型在較小的數(shù)據(jù)集和零數(shù)據(jù)集場景下可以有較好的理解和生成能力?;诖竽P偷臒o標準文本書收集ChatGPT得以在情感分析、信息鉆取、理解閱讀等文本場景中優(yōu)勢突出。


隨著訓練模型數(shù)據(jù)量的增加,數(shù)據(jù)種類逐步豐富,模型規(guī)模以及參數(shù)量的增加,會進一步促進模型語義理解能力以及抽象學習能力的極大提升實現(xiàn)ChatGPT的數(shù)據(jù)飛輪效應(用更多數(shù)據(jù)可以訓練出更好的模型吸引更多用戶,從而產(chǎn)生更多用戶數(shù)據(jù)用于訓練,形成良性循環(huán))。


研究發(fā)現(xiàn),每增加參數(shù)都帶來了文本合成和/或下游NLP任務的改進有證據(jù)表明,日志丟失與許多下游任務密切相關,隨著規(guī)模的增長,日志丟失呈現(xiàn)平穩(wěn)的改善趨勢。


ChatGPT大模型架構(gòu)也是ML發(fā)展到第三階段的必然產(chǎn)物


ML中的計算歷史分為三個時代:前深度學習時代、深度學習時代和大規(guī)模時代,在大規(guī)模時代,訓練高級ML系統(tǒng)的需求快速增長。


計算、數(shù)據(jù)和算法的進步是指導現(xiàn)代機器學習(ML)進步的三個基本因素。在2010年之前,訓練計算的增長符合摩爾定律,大約每20個月翻一番。自2010年代早期深度學習(Deep Learning)問世以來,訓練計算的規(guī)模已經(jīng)加快,大約每6個月翻一番。2015年末,隨著司開發(fā)大規(guī)模ML模型,訓練計算需求增加10至100倍,出現(xiàn)了一種新趨勢一一訓練高級ML系統(tǒng)的需求快速增長。2015-2016年左右,出現(xiàn)了大規(guī)模模型的新趨勢。這一新趨勢始于2015年末的AphaGo,并持續(xù)至今(GPT-3于2020年出現(xiàn))。


03


行業(yè)進程:AIGC多模態(tài)交互功能持續(xù)演化,奠定多場景商用基礎


AIGC:利用人工智能產(chǎn)生內(nèi)容,提升生產(chǎn)力曲線


AIGC: Artificial Intelligence Generated Context,即可以利用人工智能技術自動產(chǎn)生內(nèi)容,常見如代碼生成,文本問答等。


ChatGPT已成為AIGC功能矩陣中的重要板塊


ChatGPT是AIGC“數(shù)字內(nèi)容智能編輯”功能中的重要組成部分,ChatGPT 模型的出現(xiàn)對于文字/語音模態(tài)的AIGC應用具有重要意義。


隨著深度學習技術的快速突破以及數(shù)字內(nèi)容的海量增長AIGC領域相關技術打破了預定義規(guī)則的局限性,使得快速便捷且智慧地輸出多模態(tài)的數(shù)字內(nèi)容成為可能。


在技術創(chuàng)新以及多模態(tài)模型的持續(xù)突破下,AIGC根據(jù)功能和對象的不同,按順序可包括三種主要實用功能:數(shù)字內(nèi)容李生、數(shù)字內(nèi)容的智能編輯、數(shù)字內(nèi)容的智能創(chuàng)作。這三種功能相互嵌套與結(jié)合,可以讓AIGC產(chǎn)品具備超越人類的創(chuàng)作潛力。而ChatGPT正是AIGC的數(shù)字內(nèi)容智能編輯這-大功能領域中的重要組成部分。


ChatGPT是AIGC的產(chǎn)品應用框架中大型語言模型的重要板塊


AIGC相關技術包含了三大前沿能力


數(shù)字內(nèi)容李生能力構(gòu)建現(xiàn)實世界-虛擬世界映射


李生能力包括智能增強與轉(zhuǎn)譯技術,其中增強技術彌補內(nèi)容數(shù)字化過程中的信息損失,轉(zhuǎn)譯技術在理解基礎上對內(nèi)容進行多種形式呈現(xiàn)。


數(shù)字編輯能力打通現(xiàn)實世界虛擬世界交互通道


編輯能力包括智能語義理解與屬性控制,語義理解幫助實現(xiàn)數(shù)字內(nèi)容各屬性的分離解翹,屬性控制則在理解基礎上對屬性進行精確修改、編輯與二次生成,最終反饋于現(xiàn)實世界,形成李生-反饋閉環(huán)。


數(shù)字創(chuàng)作能力從數(shù)據(jù)理解走向數(shù)據(jù)創(chuàng)作


創(chuàng)作能力可分為基于模仿的創(chuàng)作與基于概念的創(chuàng)作,前者基于對某一類作品數(shù)據(jù)分布進行創(chuàng)作,而后者從海量數(shù)據(jù)中學習抽象概念,并基于概念創(chuàng)作出現(xiàn)實世界不存在的內(nèi)容。


AIGC三大前沿技術能力架構(gòu)如下圖所示


AIGC行業(yè)發(fā)展經(jīng)歷了三個主要時期


AIGC發(fā)展經(jīng)歷了早期萌芽、沉淀積累和2014年之后的快速發(fā)展階段。


AIGC經(jīng)歷了大致三個階段的演化發(fā)展


從分析式A到生成式AI逐步演化,生成式A賦予AIGC創(chuàng)新力


生成式AI起源于分析式AI,分析式AI發(fā)展過程中的技術積累為生成式AI的產(chǎn)生奠定基礎。


分析式AI其學習的知識局限于數(shù)據(jù)本身,生成式AI在總結(jié)歸納數(shù)據(jù)知識的基礎上可生成數(shù)據(jù)中不存在的樣本。最新生成式A技術如GAN,Difusion等,催生多款AIGC產(chǎn)品如:OpenAI系列、DALLE2(Diffusion),Stary A1(基于GAN)等。


AIGC是在分析式AI的基礎上,學習數(shù)據(jù)產(chǎn)生模式,實現(xiàn)新樣本內(nèi)容的創(chuàng)造


AIGC:學習范式更新奠定基礎,模型結(jié)構(gòu)升級助力騰飛


人工智能技術推動AIGC行業(yè)不斷發(fā)展,其中學習范式的更新賦予AI模型主動學習能力,模型結(jié)構(gòu)升級提升AI模型學習、歸納與創(chuàng)新能力。


AI模型的升級迭代為AIGC性能跨越式發(fā)展奠定基礎


AIGC產(chǎn)業(yè)鏈涵蓋了從硬件到多類終端應用的廣泛領域


AIGC關聯(lián)產(chǎn)業(yè)可分為應用層、模型層、云計算平臺與計算硬件層


計算硬件層結(jié)合云計算平臺為AIGC提供機器學習訓練與推理算力,其中GPU與TPU為硬件核心,主要參與廠商包括英偉達(GPU)與谷歌(TPU);云平臺參與廠商則包含AWS,GCP,Azure以及Coreweave;計算硬件層中云計算平臺廠商分布穩(wěn)定,競爭出現(xiàn)于模型層面與應用層面。


模型層面,閉源基礎模型提供商如OpenAI通過API向用戶提供服務而開源基礎模型則通過在托管平臺如Hugging Face、Replica公開模型權(quán)重。模型訓練其高計算力需求推動了模型層廠商與云計算廠商建立合作關系,如OpenAI+Azure,GCP+DeepMind。模型層面閉源模型較為普遍,各廠商依靠模型建立技術壁壘。


AIGC市場框架可由基礎設施層、模型層、托管平臺以及應用層來進行劃分


AIGC產(chǎn)業(yè)鏈上下游玩家百花齊放


AIGC上游主要包括數(shù)據(jù)供給方、算法機構(gòu)、創(chuàng)作者生態(tài)以及底層配合工具等,中游主要是文字、圖像、音頻和視頻處理廠商,其中玩家眾多,下游主要是各類內(nèi)容創(chuàng)作及分發(fā)平臺以及內(nèi)容服務機構(gòu)等。


AIGC產(chǎn)業(yè)鏈上下游參與者分類如下圖所示


AIGC廠商之間的競爭在于模型層面競爭

追根溯源,AIGC依賴于底層機器學習模型產(chǎn)生內(nèi)容,因此模型為AIGC行業(yè)廠商真正競爭力所在。


文本生成產(chǎn)品多依賴GPT系列模型,自己訓練的模型在圖像/視頻模態(tài)產(chǎn)品中較為普遍(圖像/視頻模態(tài)產(chǎn)品通常擁有自己訓練的模型,而不是如文本模態(tài)調(diào)用OpenAI提供的模型服務)。比較而言,OpenAI依靠模型建立先發(fā)競爭優(yōu)勢,技術到產(chǎn)品轉(zhuǎn)化相對亮眼。


AIGC模型產(chǎn)品之間存在激烈競爭


AIGC取長補短,有望成為主流內(nèi)容生產(chǎn)模式


AIGC所屬內(nèi)容生產(chǎn)生態(tài)的發(fā)展經(jīng)歷了專家生產(chǎn)內(nèi)容(PGC )、用戶生成內(nèi)容(UGC)、A輔助生產(chǎn)內(nèi)容、AI生產(chǎn)內(nèi)容(AIGC)四個階段,目前處于一、二階段為主,第三階段為輔的境況。AIGC克服PGC與UGC存在的 質(zhì)量、產(chǎn)量無法兼具的缺點,其有望成為未來主流的內(nèi)容生產(chǎn)模式。


AIGC生態(tài)內(nèi)容生產(chǎn)模式理論上會經(jīng)歷四個發(fā)展階段


AIGC生成技術可按模態(tài)進行分類


AIGC根據(jù)其內(nèi)容模態(tài)不同可分為文本、視頻、圖像,音頻與跨模態(tài)生成


AIGC不同模態(tài)對應著各種生成技術及應用場景AIGC不同模態(tài)對應的技術應用場景也有著各自的細分品類。


AIGC各技術應用場景對應的特征及細分品類如下圖所示


AIGC文本生成技術場景可分為交互式和非交互式


AIGC非交互式文本生成技術中,結(jié)構(gòu)化寫作其形式相對固定,生成難度較小,商業(yè)化應用較為廣泛;而創(chuàng)作型寫作開放性較大,在長文本生成中難度較大,仍需技術進一步發(fā)展。


隨著通信互聯(lián)網(wǎng)技術發(fā)展,線上社交需求快速增長,如閑聊機器人等交互式文本產(chǎn)品將迎來快速發(fā)展。


文本內(nèi)容生產(chǎn)領域相關細分特征如下架構(gòu)圖所述


AIGC文本生成技術商業(yè)化落地有望優(yōu)勢先發(fā)


文本領域預訓練大模型技術成熟,文本領域細分垂類較多,產(chǎn)品數(shù)量居首位,模型數(shù)量發(fā)展超過其他模態(tài)技術數(shù)字內(nèi)容中,文字模態(tài)數(shù)據(jù)遠大于圖片/視頻/音頻等,發(fā)展前景相對較大。


基于GPT-3的文字生成功能已嵌入如Writesonic、Conversion.ai、Copysmith等軟件中,商業(yè)化前景相對清晰。


文本生成技術商業(yè)化落地有比較優(yōu)勢
AIGC文本模態(tài)技術(包括文本與代碼)商業(yè)化領跑視頻/圖像模態(tài)技術


AIGC圖像生成技術隨著模型結(jié)構(gòu)的優(yōu)化而明顯提升


模型結(jié)構(gòu)不斷進化提高了AIGC生產(chǎn)圖像的多樣性,但要求較高的功能實現(xiàn)還有待于技術的進一步提升。


"圖像編輯”難度低于"圖像生成”與"2D-3D”轉(zhuǎn)換,目前已存在多款產(chǎn)品支持“圖像編”,而對于“圖像生成”任務,由于圖片相較包含更多元素,其生成效果仍存在不穩(wěn)定性,對于要求較高的功能類圖像生成仍需要技術上的提升。


AIGC音頻生成技術正朝更富情感等人類特征演化


文本到語音任務已比較成熟,語音質(zhì)量已達到自然的標準,未來將朝更富情感、富韻律的語音合成以及小樣本語音學習方向發(fā)展。


音樂生成任務中仍需解決音樂數(shù)據(jù)難以標注的問題,數(shù)據(jù)標注其顆粒度大小影響音樂生成任務的可控性。若可控性得以解決,則可指定風格情緒等因素的音樂生成任務有希望在影視、游戲等場景下的到大量應用。


視頻生成為AIGC應用生態(tài)中的高潛力場景


視頻生成本質(zhì)上與圖片生成類似,通過對視頻進行幀數(shù)級別的切割,實現(xiàn)對每一頓的處理。


視頻生成過程包括三個階段:數(shù)據(jù)的提取、訓練和轉(zhuǎn)換,當前技術正在著重提升視頻修改精準度和實時性兩個維度。鑒于視頻本身的文本、圖像和音頻的綜合屬性,視頻生成也是跨模態(tài)生成領域的重要應用場景。


跨模態(tài)生成技術是真正實現(xiàn)認知和決策智能的轉(zhuǎn)折點


現(xiàn)實世界的信息是文本、音頻、視覺、傳感器以及人類各種觸覺的綜合體系,要更為精準地模擬現(xiàn)實世界,就需要將各種模態(tài)能力之間打通,例如文字-圖像、文字-視頻等跨模態(tài)生成能力。


大型預訓練模型的發(fā)展使得跨模態(tài)逐步成熟,"文本-圖像”生成正在快速落地,"文字視頻”的實驗效果也已較為理想(視頻時長、清晰程度、邏輯等還有較大提升空間 )


跨模態(tài)生成領域當前的主要功能類型如下所示


AIGC改變數(shù)字內(nèi)容生產(chǎn)模式


AIGC作為新的內(nèi)容生產(chǎn)模式,其具有內(nèi)容多樣,可控性強與生產(chǎn)效率高的優(yōu)點,符合傳媒,電商,影視,娛樂等行業(yè)對內(nèi)容數(shù)字化程度高、內(nèi)容多樣以及內(nèi)容更新快的要求,AIGC在以上行業(yè)逐漸替代傳統(tǒng)內(nèi)容生產(chǎn)模式的趨勢十分顯著。


AIGC滲透傳媒領域各個環(huán)節(jié)AIGC技術逐漸滲透傳媒領域包括采集、編輯、傳播等環(huán)節(jié),有助于加快內(nèi)容生產(chǎn)效率,提高內(nèi)容質(zhì)量,擴寬內(nèi)容影響力。


AIGC對傳媒領域的賦能如下圖所述


AIGC化2D為3D,拓展電商展示維度


AIGC 2D圖像生成3D模型技術為傳統(tǒng)電商提供多維度的展示空間,虛擬合成主播為客戶提供更及時、可靠、親和的服務體驗。


AIGC打破傳統(tǒng)娛樂體驗邊界


AIGC技術打破物理邊界,使粉絲可與偶像親密互動,并形成新的發(fā)展點,AIGC為用戶打開虛擬世界入口,通過趣味方式體驗虛擬世界。


AIGC拓寬影視行業(yè)創(chuàng)意邊際


AIGC技術以其內(nèi)容多樣性為作品內(nèi)容帶來更多靈感,AIGC技術幫助拍攝突破物理限制,還原劇本效果,提高作品質(zhì)量。

AIGC在劇本創(chuàng)作、拍攝過程以及后期制作方面均有助益

AIGC促進各行業(yè)轉(zhuǎn)型升級


AIGC技術在各行業(yè)數(shù)字內(nèi)容相關領域均有發(fā)揮空間。


AIGC在教育、金融、工業(yè)、醫(yī)療領域的應用優(yōu)勢如下圖所示


04


商業(yè)化:多領域多功能應用密集落地,ChatGPT商用前景可期


ChatGPT試點訂閱計劃——ChatGPT Plus發(fā)布,商業(yè)化序幕已經(jīng)拉開


2023年2月2日,OpenAI發(fā)布chatGPT試點訂閱計劃--ChatGPT Plus,每月20美元。ChatGPTPlus訂閱者可獲得比免費版本更穩(wěn)定、更快的服務,及嘗試新功能和優(yōu)化的優(yōu)先權(quán)。


ChatGPT+傳媒:實現(xiàn)智能新聞寫作,提升新聞的時效性


ChatGPT可以幫助新聞媒體工作者智能生成報道,將部分勞動性的采編工作自動化,更快、更準、更智能地生成內(nèi)容。

過往成功案例眾多,ChatGPT在傳媒領域的商業(yè)化大有可為



ChatGPT+影視:拓寬創(chuàng)作素材術,提升作品質(zhì)量


ChatGPT可以根據(jù)大眾的興趣身定制影視內(nèi)容,從而更有可能吸引大眾的注意力,獲得更好的收視率、票房和口碑。


ChatGPT可以為劇本創(chuàng)作提供新思路,創(chuàng)作者可根據(jù)ChatPT的生成內(nèi)容再進行篩選和二次加工,從而激發(fā)創(chuàng)作者的靈感,開拓創(chuàng)作思路,縮短創(chuàng)作周期。


ChatGPT有著降本增效的優(yōu)勢,可以有效幫助影視制作團隊降低在內(nèi)容創(chuàng)作上的成本,提高內(nèi)容創(chuàng)作的效率,在更短的時間內(nèi)制作出更高質(zhì)量的影視內(nèi)容。


ChatGPT+營銷: 打造虛擬客服,賦能產(chǎn)品銷售


利用ChatGPT打造的虛擬客服,具備無可比擬的營銷優(yōu)勢


ChatGPT+娛樂:人機互動加強,激發(fā)用戶參與熱情


ChatGPT可以成為線上的實時聊天對象,增加互動的趣味性和娛樂性。


ChatGPT+其他:促進數(shù)實共生,助力產(chǎn)業(yè)升級

  • ChatGPT+教育:賦予教育教材新活力,讓教育方式更個性化、更智能

  • ChatGPT+金融:幫助金融機構(gòu)降本增效,讓金融服務更有溫度

  • chatGPT+醫(yī)療:賦能醫(yī)療機構(gòu)診療全過程


ChatGPT在教育、金融和醫(yī)療產(chǎn)業(yè)中也大有用武之地


短期來看,ChatGPT的快速推廣阻力仍存


短期來看,ChatGPT仍存在諸多不足,待解決的問題主要有兩方面:合規(guī)性問題和技術性問題。






更多精彩內(nèi)容請關注公眾號:BFT機器人


本文為原創(chuàng)文章,版權(quán)歸BFT機器人所有,如需轉(zhuǎn)載請與我們聯(lián)系。若您對該文章內(nèi)容有任何疑問,請與我們聯(lián)系,將及時回應。


全網(wǎng)最全!ChatGPT 研究框架萬字解讀的評論 (共 條)

分享到微博請遵守國家法律
石林| 同德县| 临汾市| 阿拉善左旗| 青州市| 威信县| 长葛市| 丰顺县| 五家渠市| 射洪县| 汽车| 汶川县| 伊金霍洛旗| 黑龙江省| 东海县| 托里县| 丰县| 始兴县| 威信县| 鸡东县| 容城县| 福州市| 马鞍山市| 绩溪县| 盖州市| 宣恩县| 宣城市| 万荣县| 安吉县| 定远县| 弥勒县| 昌乐县| 乐亭县| 太康县| 天水市| 萝北县| 望都县| 新闻| 扶风县| 巴青县| 调兵山市|