如今，在AI領(lǐng)域盡是關(guān)于大模型打造的消息。從ChatGPT上線后，各大企業(yè)都在加緊發(fā)力，試圖在大模型打造領(lǐng)域分得一杯羹。這些公司紛紛投入大量資源進行技術(shù)研發(fā)和應(yīng)用探索，以期在AI技術(shù)應(yīng)用領(lǐng)域占據(jù)更大的市場份額。其中，云知聲作為AI獨角獸企業(yè)，專注于大模型在特定領(lǐng)域的應(yīng)用，并在醫(yī)療等領(lǐng)域取得了良好的成績。未來，隨著云知聲大模型技術(shù)的不斷進步和應(yīng)用場景的不斷擴展，還將會在更多領(lǐng)域得到廣泛應(yīng)用。

　　云知聲大模型切入點：由點及面

　　在ChatGPT推出后，云知聲已開始訓(xùn)練模型，將分兩步推進：先在六七百億參數(shù)提升優(yōu)質(zhì)數(shù)據(jù)規(guī)模，再擴大到千億級參數(shù)提升大模型效果。為什么要分兩步走？這與技術(shù)實現(xiàn)和商業(yè)落地相關(guān)。

　　按照業(yè)內(nèi)的實踐，在優(yōu)質(zhì)數(shù)據(jù)規(guī)模足夠大情況下，模型越大效果越好，但訓(xùn)練成本也越高。從六七百億參數(shù)起步，是因為從業(yè)內(nèi)成果分析看，只有參數(shù)規(guī)模達到五六百億以上，模型才可能出現(xiàn)“智能涌現(xiàn)”。這是一種神奇的現(xiàn)象，如同一個小孩子，到了某個年齡突然“開竅”了，發(fā)生了從量變到質(zhì)變的“跳躍”。經(jīng)過研究，云知聲發(fā)現(xiàn)，“六七百億參數(shù)的模型，是比較有把握出現(xiàn)涌現(xiàn)效果的，先以這個參數(shù)規(guī)模，提升優(yōu)質(zhì)數(shù)據(jù)規(guī)模和大模型效果，再做千億以上參數(shù)來提高大模型性能?！?br>

　　此外，云知聲認為，大模型訓(xùn)練成功后，以目前的算力成本，可能需要把大模型參數(shù)量通過蒸餾技術(shù)壓縮10倍才能滿足實時性和規(guī)?；瘧?yīng)用要求，這要視具體應(yīng)用場景而定。云知聲在做BERT模型時，就積累了豐富的經(jīng)驗，通過模型蒸餾提速近百倍，而實際性能損失很小。GPT是一個端到端打通的框架，同時結(jié)合了很多學(xué)習(xí)能力，比如小樣本學(xué)習(xí)，讓它有更強的適應(yīng)能力。同時，OpenAI的CEO Sam Altman透露，他們使用的數(shù)據(jù)遠比外界想象的要多得多，大量工作也圍繞在數(shù)據(jù)方面，為此還引入了新的數(shù)學(xué)模型。

　　云知聲以前基于BERT模型，現(xiàn)在需要切換到以GPT為模式的框架。兩者本質(zhì)上都基于Transformer模型，有不同的優(yōu)缺點和特性。云知聲這次并不需要從底層開始干，而是進行模型架構(gòu)的切換，“會比從頭做的變量要少很多，而且有行業(yè)應(yīng)用場景、客戶和數(shù)據(jù)的積累”。

　　云知聲從全棧能力到MaaS模式升級

　　云知聲是一支深度思考行業(yè)趨勢，密切關(guān)注行業(yè)前沿技術(shù)發(fā)展的團隊，同時也在行業(yè)里有了多年積累，已形成全棧能力，給新一輪技術(shù)升級奠定了扎實的基礎(chǔ)，也為打造以大模型為基礎(chǔ)的MaaS（Model as a Service，模型即服務(wù)）平臺做好準備。

　　在最底層的算力層面，2016年開始云知聲團隊開始建立大規(guī)模超算平臺Atlas，這是一家人工智能公司的重要壁壘。在算力平臺之上是數(shù)據(jù)中心模型優(yōu)化（DCML）層。云知聲在2016年開始進入醫(yī)療行業(yè)后，發(fā)現(xiàn)根據(jù)不同應(yīng)用場景數(shù)據(jù)，需要對模型進行高效的針對性優(yōu)化，本質(zhì)上是如何根據(jù)應(yīng)用數(shù)據(jù)對模型進行快速調(diào)優(yōu)，GPT模型的強化學(xué)習(xí)也是在這層完成的。這一層的構(gòu)建目標就在于此，其作用是能夠提高產(chǎn)品的標準化程度，通過模型而非代碼來解決應(yīng)用場景差異，大幅提升人效比。再之上是模型層。在此前的AI范式下，無論是人機交互，還是各種行業(yè)應(yīng)用，實際上要先做好各單元模型，再把各種單元模型整合起來實現(xiàn)業(yè)務(wù)目標，現(xiàn)在則要轉(zhuǎn)變?yōu)橐訥PT為核心的大模型來做。

　　對于本次大模型應(yīng)用落地，云知聲認為“不是簡單的算法升級或模型做大，而是AGI新范式的重構(gòu)?！本唧w來說，是從標準AI零部件根據(jù)業(yè)務(wù)需求組裝優(yōu)化，到以大模型為基礎(chǔ)的MaaS模式的轉(zhuǎn)變，即業(yè)務(wù)邏輯由多語言多模態(tài)智能交互（MM-CAI）大模型來對接，實現(xiàn)真正自然語言為主的人機交互模式，通過大模型的情景學(xué)習(xí)（ICL：In Context Learning）能力來快速對接任務(wù)，極大提升業(yè)務(wù)遷移效率，涉及專業(yè)領(lǐng)域問題，則通過調(diào)用行業(yè)大模型或API來精準可靠解決，做好交互自然度和行業(yè)專業(yè)度的有效結(jié)合。

　　回顧AI發(fā)展，上一次AI浪潮來襲時，最終也是場景玩家率先占據(jù)了AI紅利。此次大模型打造上，云知聲作為一家擁有場景、數(shù)據(jù)和深厚行業(yè)壁壘的公司，在打造大模型上更具優(yōu)勢，有能力率先在行業(yè)中實現(xiàn)落地，這是其他玩家所不能及的先發(fā)優(yōu)勢。