百度沈抖：大模型 產(chǎn)業(yè)智能化時(shí)代的新引擎
6月9日，2023 NAVIGATE領(lǐng)航者峰會(huì)在杭州舉辦，聚焦數(shù)字經(jīng)濟(jì)新政策、新技術(shù)、新業(yè)態(tài)帶來的蓬勃機(jī)遇，探討ICT行業(yè)在AIGC時(shí)代將要面臨的全新挑戰(zhàn)與應(yīng)對(duì)策略。百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖出席大會(huì)并做題為《大模型 產(chǎn)業(yè)智能化時(shí)代的新引擎》的分享。
沈抖表示，未來所有的企業(yè)都會(huì)強(qiáng)依賴大模型，而且所有的產(chǎn)品都會(huì)基于大模型來開發(fā)。現(xiàn)在我們就得做好重構(gòu)產(chǎn)品和服務(wù)的準(zhǔn)備：第一，要布局新的基礎(chǔ)設(shè)施；第二，要構(gòu)建AI原生的思維；第三，要持續(xù)迭代、反復(fù)驗(yàn)證。
以下是沈抖演講實(shí)錄：
大家好，我是沈抖，來自百度。
我想大家剛才都注意到了，今天大會(huì)的主題是“精耕務(wù)實(shí)，為時(shí)代賦智慧”。“精耕務(wù)實(shí)”是一種態(tài)度，“為時(shí)代賦智慧”是一個(gè)目標(biāo)。我們心中有了態(tài)度，眼中有了目標(biāo)，接下來要解決的問題就是，我們有什么樣的東西可以幫助達(dá)成這個(gè)目標(biāo)？站在2023年，我相信大家都有了答案，那就是大模型，這也正是我今天跟大家分享的主題。
為什么現(xiàn)在學(xué)術(shù)界、產(chǎn)業(yè)界、投資界都對(duì)大模型這么熱衷，因?yàn)榇蠹叶济靼状竽Ｐ捅澈笠馕吨鴥杉拢?/p>
第一，大模型重新定義了人機(jī)交互。在過去幾十年，人機(jī)交互發(fā)生過三次大的變化：我記得我還在讀書的時(shí)候，命令行是主要的工作界面。我輸入命令，它給我反應(yīng)，當(dāng)時(shí)覺得效率很高，但估計(jì)現(xiàn)在沒有人會(huì)了，因?yàn)樘珡?fù)雜，門檻太高。后來的圖形界面更簡(jiǎn)單直觀，我們用鼠標(biāo)一層一層點(diǎn)擊菜單，但是我相信大家都有這樣的經(jīng)歷，當(dāng)我們用一些軟件的時(shí)候，很多長(zhǎng)尾的功能就藏在一層一層的菜單里面，很難發(fā)現(xiàn)。而現(xiàn)在大模型的出現(xiàn)，讓我們可以用自然語言去跟計(jì)算機(jī)進(jìn)行交互。比如我現(xiàn)在在工作中經(jīng)常會(huì)問：百度智能云的產(chǎn)品哪些毛利率超過了疫情前？以前我需要同事幫我準(zhǔn)備半天，收集這樣的問題。但現(xiàn)在因?yàn)闄C(jī)器能夠理解我的語言，幾秒鐘就可以出答案。
所以每一次人機(jī)交互的變化，都會(huì)帶來非常深遠(yuǎn)的影響，不僅創(chuàng)造了便利，更重要的是創(chuàng)造了很多機(jī)會(huì)，所以以后我們跟機(jī)器之間的交互，就是用語言來表達(dá)我們的需求，機(jī)器來理解我們的需求，來生成內(nèi)容，來調(diào)用工具，為我們服務(wù)。
第二是在宏觀層面，大模型的出現(xiàn)意味著一種新的生產(chǎn)力正在誕生。18世紀(jì)80年代以前，世界人均GDP的水平一直趴在地上，一直沒有什么變化。就像剛才幾位嘉賓，包括張維迎教授（北京大學(xué)國(guó)家發(fā)展研究院博雅特聘教授、北大市場(chǎng)網(wǎng)絡(luò)經(jīng)濟(jì)研究中心主任）提到的，世界人均GDP就是在工業(yè)革命開始以后，才出現(xiàn)了指數(shù)級(jí)的增長(zhǎng)，而這種GDP的增長(zhǎng)和技術(shù)之間的強(qiáng)相關(guān)性，也正好驗(yàn)證了我們熟悉的一段話，那就是“科技是第一生產(chǎn)力”。
我們深入來看，這幾次科技革命又不盡相同。第一次蒸汽機(jī)革命和第二次電力革命，很大程度上解放了我們的體力；第三次信息革命，很大程度上在輔助我們的腦力，但這時(shí)候它還是一個(gè)工具；今天以ChatGPT為代表的生成式AI代表了更高階的能力，實(shí)際上是部分的替代我們的腦力。正是這種原因，現(xiàn)在它會(huì)從根本上去改變我們?cè)瓉碜龅暮芏嗍虑?，?huì)改變很多行業(yè)的格局。
但是要想做出這樣的大模型其實(shí)并不容易，剛才于英濤總（紫光股份董事長(zhǎng)、新華三集團(tuán)總裁兼首席執(zhí)行官）也反復(fù)提到，我們需要數(shù)據(jù)、算力、算法等。確實(shí)，數(shù)據(jù)、算力、學(xué)習(xí)機(jī)制，是我們做成的必備要素。
>>首先是大數(shù)據(jù)，就像人生下來不是全知全能一樣，我們也要天天學(xué)習(xí)，看很多的東西。而一個(gè)上千億參數(shù)的大模型，我們要想教會(huì)它，需要的數(shù)據(jù)規(guī)模會(huì)更大。我們需要它去了解唐詩、新聞、論文、代碼庫等，這個(gè)數(shù)據(jù)相當(dāng)于100萬人一生的閱讀量。而且這里面只是有數(shù)據(jù)的規(guī)模還不夠，還得有數(shù)據(jù)的質(zhì)量。像Open AI在論文里面就提到，他們雇傭了大量專業(yè)的人來標(biāo)數(shù)據(jù)，而這些標(biāo)注人員37%以上都是碩士生，充分說明了數(shù)據(jù)的重要性。
>>第二是大算力，大算力是大模型的動(dòng)力源泉，也是新華三非常擅長(zhǎng)的地方。我們知道，要訓(xùn)練一個(gè)大模型所需的計(jì)算量是由這個(gè)模型本身的規(guī)模和它所用的訓(xùn)練數(shù)據(jù)規(guī)模來決定的。如果我們拿GPT3或者上一代的大模型為例，它每訓(xùn)練一次，大約需要10的23次方的計(jì)算量。如果我們用現(xiàn)在比較先進(jìn)的A100這樣的算力，每秒可以算20萬億次，需要1000片計(jì)算100天。假設(shè)我們現(xiàn)在讓全世界80億人都開始敲算盤來算，需要不停地敲100萬年。
>>除了數(shù)據(jù)、算力，還要有好的訓(xùn)練方法，就像人在學(xué)習(xí)過程中需要有老師、教育體系，給予我們好的指導(dǎo)一樣。實(shí)際上我們用相同的數(shù)據(jù)、相同規(guī)模參數(shù)的模型，用不同的方法來訓(xùn)練，最后的效果也大不一樣，就好像我們讓不同廚師用同樣的食材、同樣的廚具，他們做出來菜的味道也不一樣。所以要想把大模型訓(xùn)練好，我們還需要長(zhǎng)期積累的經(jīng)驗(yàn)。
可見，訓(xùn)練大模型是一個(gè)非常復(fù)雜的系統(tǒng)工程，這就需要我們整個(gè)IT技術(shù)棧發(fā)生相應(yīng)的變化。我們知道，在PC時(shí)代和移動(dòng)時(shí)代，技術(shù)棧大概是三層，也就是芯片、操作系統(tǒng)和應(yīng)用。但是到了IT時(shí)代，到了AI時(shí)代，IT技術(shù)棧變成了四層：
>>底層還是芯片層，但是這時(shí)候確實(shí)不再是以CPU為主，而是以GPU為主。為了用GPU來解決大模型訓(xùn)練過程中的大規(guī)模并發(fā)計(jì)算的問題，百度研發(fā)了昆侖芯，大概在明年年初會(huì)規(guī)模上市的昆侖芯3很大程度上可以解決算力的問題。
>>芯片上面是框架層，在這么復(fù)雜的算法前面，從零開始一行一行寫代碼基本不可能，需要一個(gè)好的開發(fā)框架，現(xiàn)在主要指深度學(xué)習(xí)的框架，可以幫助我們?nèi)ナ褂煤脱邪l(fā)這個(gè)大模型。像百度的飛槳，Meta的PyTorch，谷歌的TensorFlow，都是在這一層。
>>框架之上是模型層，模型層是基于下面的框架和芯片訓(xùn)練出來的模型，剛才提到的ChatGPT、文心一言都屬于模型層。除了文心一言，我們還有交通大模型、能源大模型等10多個(gè)行業(yè)大模型。
>>再上面才是我們熟悉的應(yīng)用層，通常要基于通用大模型，結(jié)合行業(yè)場(chǎng)景，去研發(fā)大量新的AI應(yīng)用。
我們討論了這么多，大模型出現(xiàn)之前，其實(shí)AI已經(jīng)誕生了。就是剛才李濱總（紫光集團(tuán)董事長(zhǎng)）講到的，大模型本身打破了人認(rèn)識(shí)的邊界，但它不是一下子出來的，是長(zhǎng)期積累出來的。在這個(gè)過程中，以前我們有大量的專屬模型，包括語音識(shí)別、圖象識(shí)別、文字識(shí)別等，這些識(shí)別在過去通常是一個(gè)單點(diǎn)功能，就像人的眼睛或者耳朵一樣，但大模型出現(xiàn)以后就像有了大腦，可以把這些單點(diǎn)能力串起來，而且在串的過程中會(huì)出現(xiàn)越來越多的多模態(tài)融合的大模型。
有了多模態(tài)融合的大模型以后，我們可以想象它對(duì)未來的影響，一方面會(huì)改變整個(gè)生產(chǎn)流程，大幅提高生產(chǎn)經(jīng)營(yíng)效率；另外一方面，因?yàn)樗峁┝巳藱C(jī)交互這種非常自然的過程，可以使得用戶的體驗(yàn)明顯提升。而這種生產(chǎn)經(jīng)營(yíng)效率的提升、用戶交互體驗(yàn)的提升，會(huì)促進(jìn)整個(gè)社會(huì)的加速，促進(jìn)我們實(shí)現(xiàn)智能化的飛躍。實(shí)際上現(xiàn)在全球很多領(lǐng)先的科技公司，都在用這種大模型來重塑他們的產(chǎn)品線，這里是重塑，而不是接入，不是簡(jiǎn)單的整合。
在這個(gè)過程中，我相信很多企業(yè)會(huì)關(guān)心，這個(gè)大模型到底跟我們有什么關(guān)系？我的哪些業(yè)務(wù)場(chǎng)景能夠跟它結(jié)合起來？我們做了大量調(diào)研之后發(fā)現(xiàn)，目前企業(yè)里主要在這五個(gè)方面對(duì)大模型有強(qiáng)烈的需求：知識(shí)管理、營(yíng)銷、代碼生成、設(shè)計(jì)和對(duì)話。
從3月份百度發(fā)布文心一言以后，我們也跟很多合作伙伴一起在探索內(nèi)外部產(chǎn)品的迭代升級(jí)。其中一個(gè)是在知識(shí)管理領(lǐng)域，百度內(nèi)部用于知識(shí)管理的交流平臺(tái)“如流”，上面有一個(gè)智能工具，可以基于這個(gè)工具去問公司里相關(guān)的規(guī)章制度以及遇到的問題，甚至給飯卡充錢等。
第二是辦公領(lǐng)域，我們和一些企業(yè)一起研發(fā)了新的功能，通過跟機(jī)器對(duì)話就可以生成PPT、合同、文檔等?；谠V求語言，在幾分鐘之內(nèi)就可以生成一個(gè)條款清晰的合同初稿。
還有營(yíng)銷領(lǐng)域，我們可以幫商家一鍵生成各種風(fēng)格的營(yíng)銷方案，并且通過數(shù)字人實(shí)現(xiàn)7×24小時(shí)的直播帶貨。
智慧政務(wù)領(lǐng)域，我們也在跟一些機(jī)構(gòu)合作，測(cè)試城市智慧平臺(tái)的交互功能，比如快到端午節(jié)了，我們可以直接問，端午節(jié)我們的客流量會(huì)怎么樣？這時(shí)候它就會(huì)自動(dòng)生成報(bào)表、分析，并且形成回答。
另外一個(gè)領(lǐng)域，也是剛才大家提到的代碼生成領(lǐng)域，百度智能云推出了基于文心大模型的代碼助手“Comate”，它可以結(jié)合上下文，預(yù)測(cè)程序員接下來想要輸入的代碼，還能用自然語言來寫代碼，并且自動(dòng)查找代碼中的錯(cuò)誤。Comate在百度內(nèi)部已經(jīng)經(jīng)過了長(zhǎng)時(shí)間驗(yàn)證和迭代，目前生成代碼的采用率達(dá)到50%，而且它作為一個(gè)插件已經(jīng)在多個(gè)編程環(huán)境里面去實(shí)現(xiàn)，接下來我相信在不同的編程環(huán)境里都可以用到Comate。
大模型對(duì)我們影響之深，每個(gè)企業(yè)都在思考到底怎么參與到大模型浪潮里面去？無非是這么幾種情況：
一，構(gòu)建基礎(chǔ)大模型的企業(yè)。剛才我們講到它需要大量的數(shù)據(jù)、算力，非常長(zhǎng)期的經(jīng)驗(yàn)積累。所以這個(gè)大概率是少數(shù)企業(yè)才能做的事情。
二，建立行業(yè)大模型。行業(yè)大模型就是結(jié)合行業(yè)特有的數(shù)據(jù)、應(yīng)用的需求，那些有行業(yè)數(shù)據(jù)、掌握了行業(yè)場(chǎng)景的人，就會(huì)在基礎(chǔ)大模型之上建立自己的行業(yè)大模型，基于大模型微調(diào)適合行業(yè)特點(diǎn)的行業(yè)模型。
三，也可能是規(guī)模最大的，它就是在基礎(chǔ)大模型或者行業(yè)大模型之后開發(fā)AI應(yīng)用程序，而這類企業(yè)最需要思考的是到底應(yīng)該選哪些基礎(chǔ)大模型、行業(yè)大模型，應(yīng)該在這些大模型做什么樣的工程？怎么來解決行業(yè)的特定問題？
既然說到怎么選擇大模型，現(xiàn)在就要思考相應(yīng)的標(biāo)準(zhǔn)，我們根據(jù)全球主流大模型的測(cè)試和觀察，提出了這么三個(gè)考量的要素：
首先，要看這個(gè)大模型的通用性好不好，有沒有解決我們手頭的問題，它有沒有比較強(qiáng)的泛化能力？
第二，要看這個(gè)大模型迭代的速度快不快，因?yàn)榻裉斓拇竽Ｐ瓦h(yuǎn)遠(yuǎn)沒有到成熟的時(shí)候，還需要不斷的持續(xù)迭代，如果一個(gè)大模型缺乏持續(xù)迭代的能力，它在后續(xù)很難有強(qiáng)勁的動(dòng)力。
第三，要看這個(gè)大模型周圍的工具鏈?zhǔn)遣皇峭暾?/strong>不管是為了開發(fā)應(yīng)用，還是迭代行業(yè)大模型，都需要有豐富的工具鏈，包括數(shù)據(jù)的采集、標(biāo)注，怎么去做各種微調(diào)甚至是插件的機(jī)制等，因?yàn)橹挥羞@些工具鏈齊全，才能真正幫助我們把大模型用到極致。
為了支撐大模型的產(chǎn)業(yè)落地，百度智能云推出了文心千帆大模型平臺(tái)。這個(gè)平臺(tái)不只支持百度的文心一言，也支持大量的第三方大模型，而且提供了比較完整的工具鏈、開發(fā)環(huán)境和基礎(chǔ)設(shè)施。
在性能方面，我們也具備了全球領(lǐng)先的性能指標(biāo)，通過這些優(yōu)化技術(shù)，可以使得千卡并行加速比達(dá)到90%以上，訓(xùn)練場(chǎng)景資源利用率到70%以上。所以我們?cè)偃ビ?xùn)練一個(gè)大模型，就能發(fā)現(xiàn)它比原來沒有做這些優(yōu)化之前效率提升了100%。而且在部署方式上，我們既支持公有云的部署，也支持私有化的部署，原因是不同企業(yè)有不同的要求，我們希望提供靈活的方式，讓所有企業(yè)都用好大模型。
大模型要持續(xù)的迭代，在百度內(nèi)部，文心一言也在不斷迭代，從發(fā)布到現(xiàn)在幾個(gè)月時(shí)間，文心一言已經(jīng)迭代了四次，推理的性能提高了10倍。而且在一些特定的、高頻的場(chǎng)景下，通過使用文心一言高性能的模式，叫“文心一言-Turbo”，我們可以把推理速度提高50倍。只有這樣，才能真正讓大模型做產(chǎn)業(yè)化的落地。
我相信大家都已注意到，企業(yè)已經(jīng)開始行動(dòng)起來，參與到大模型里面來，如果聊天聊不到大模型，就顯得有點(diǎn)落伍。事實(shí)上也確實(shí)是這樣，從文心一言發(fā)布到現(xiàn)在，已經(jīng)有15萬客戶在排隊(duì)申請(qǐng)文心一言的測(cè)試，而且我們已經(jīng)和300多家生態(tài)伙伴在400多個(gè)場(chǎng)景上取得了不錯(cuò)的測(cè)試效果，覆蓋了金融、政務(wù)、互聯(lián)網(wǎng)、教育、工業(yè)等行業(yè)。這里面非常重要的一個(gè)合作伙伴就是新華三，新華三作為一個(gè)數(shù)字解決方案的領(lǐng)導(dǎo)者，跟百度文心一言一起努力，我們相信基于新華三強(qiáng)大的平臺(tái)搭建能力和渠道延伸能力，一定會(huì)加速大模型在中國(guó)的落地應(yīng)用。
我們能感受到另外一股力量，是基于大模型的創(chuàng)新創(chuàng)業(yè)。5月底，百度宣布拿出10億成立AIGC領(lǐng)域的專項(xiàng)投資基金，并且啟動(dòng)“文心杯”創(chuàng)業(yè)大賽，短短一周時(shí)間，我們已經(jīng)收到了300份申請(qǐng)，可見基于生成式大模型的熱度之高。
未來所有的企業(yè)都會(huì)強(qiáng)依賴大模型，而且所有的產(chǎn)品都會(huì)基于大模型來開發(fā)，這已經(jīng)是一個(gè)共識(shí)。所以現(xiàn)在我們就得做好重構(gòu)產(chǎn)品和服務(wù)的準(zhǔn)備，要準(zhǔn)備哪些東西呢？第一，要布局新的基礎(chǔ)設(shè)施；第二，要構(gòu)建AI原生的思維；第三，要持續(xù)迭代、反復(fù)驗(yàn)證。
為什么要構(gòu)建新的基礎(chǔ)設(shè)施？是因?yàn)槲覀冎挥邢炔季趾眠@個(gè)基礎(chǔ)設(shè)施，布局好大模型的底層，并且通過把大模型和我們的數(shù)據(jù)、業(yè)務(wù)結(jié)合起來，提供一個(gè)非常友好的迭代環(huán)境，我們才能真正體會(huì)大模型的價(jià)值。我們剛才反復(fù)提到，大模型大幅降低了人機(jī)交互的成本，尤其是可以支持基于自然語言的編程，我們想想企業(yè)里面一定有大量聰明的有創(chuàng)意的員工在，當(dāng)有了這樣的基礎(chǔ)環(huán)境以后，他們就可以快速基于自然語言的編程去嘗試自己的思路，迭代自己的想法，這一定會(huì)激發(fā)創(chuàng)造力，提高生產(chǎn)力。
第二，我們一定要在組織內(nèi)部構(gòu)建AI原生思維。這次大模型帶來的機(jī)會(huì)不是一個(gè)線性的變化，而是一個(gè)思維模式的變化。當(dāng)時(shí)從PC時(shí)代到移動(dòng)時(shí)代，我們?cè)谥v移動(dòng)思維，真正實(shí)現(xiàn)移動(dòng)思維的人創(chuàng)造了大量新的機(jī)會(huì)，包括美團(tuán)、地圖，這些都在PC時(shí)代很難爆發(fā)。同樣的道理，從移動(dòng)時(shí)代再到AI時(shí)代，我們也必須從思維模式上實(shí)現(xiàn)根本性的變化。這樣我們的員工就可以用新的思維，去不斷的創(chuàng)新、不斷的迭代。所以在這個(gè)時(shí)候，我認(rèn)為大家最不應(yīng)該擔(dān)心的是會(huì)不會(huì)制造失業(yè)？企業(yè)家也更不應(yīng)該想是不是應(yīng)該用AI降本增效，減少員工？我們真正應(yīng)該思考的是，怎么提供好基于原生AI的環(huán)境去賦能員工，讓他們?nèi)肀录夹g(shù)，去創(chuàng)造新價(jià)值。
第三，要持續(xù)嘗試。我們知道，技術(shù)發(fā)展的趨勢(shì)是不可逆的，是確定的，但是這個(gè)技術(shù)在一個(gè)企業(yè)里面的落地不可能是一帆風(fēng)順的。這時(shí)候就要考驗(yàn)一把手，考驗(yàn)主要的領(lǐng)導(dǎo)，是不是有定力，是不是相信這個(gè)趨勢(shì)？只有那些堅(jiān)持把它跑通，而且率先跑通的，才真正能夠享受這個(gè)技術(shù)的紅利，才是真正做到了剛才張教授提到的，是創(chuàng)新，而不是套利。所以如果我們判斷大模型已經(jīng)帶來了確定性的變化，現(xiàn)在最需要的就是行動(dòng)起來。
回過頭去看過去幾十年，智能手機(jī)的誕生，把手機(jī)分成了智能手機(jī)和非智能手機(jī)，非智能手機(jī)已經(jīng)徹底退出了歷史舞臺(tái)，而這一波生成式AI也會(huì)把所有企業(yè)分成智能企業(yè)和非智能企業(yè)，非智能企業(yè)也一定會(huì)慢慢退出歷史舞臺(tái)。
AI的終極理想是為人類帶來更多的自由和可能。今天借著新華三這樣一個(gè)領(lǐng)航者，我們?cè)谥袊?guó)產(chǎn)業(yè)落地已經(jīng)邁出了堅(jiān)實(shí)的一步。中國(guó)有最大規(guī)模的網(wǎng)民和最完整的產(chǎn)業(yè)鏈，基于這些網(wǎng)民、這些產(chǎn)業(yè)鏈，大模型能夠收到最有效的反饋，而反饋一定會(huì)驅(qū)動(dòng)創(chuàng)新，會(huì)持續(xù)推動(dòng)大模型的優(yōu)化。我們?cè)敢夂驮谧闹T位一起，將中國(guó)的智能化躍遷推向更深、更廣的領(lǐng)域。
謝謝大家。
