華為也出GPT?
說一個很多人不太信的冷知識,中國本土企業(yè)在類似ChatGPT的研發(fā)中,技術(shù)并不算差,走的也不算慢。
? ? ? ? ?
除了百度即將推出的文心一言,阿里、騰訊、華為等大廠均有布局。
? ? ? ? ?
OpenAI成功的秘訣,并不是技術(shù)上有多少代差的領(lǐng)先,而是瞄準了一個方向,大力出奇跡的結(jié)果。
? ? ? ? ?
當(dāng)這個方向被證實可以成功后,后面的追隨者就可以蜂擁而至了,而這恰恰是中國企業(yè)最擅長的。
? ? ? ? ?
盡管這種模式被人詬病為“缺乏創(chuàng)新”,但幾乎所有的高端科技被中國企業(yè)掌握后,就變成了全球人民觸手可及的白菜價產(chǎn)品,這本身就是一種偉大的創(chuàng)新。
? ? ? ? ?
大模型也是類似。
? ? ? ? ?
2021年初的時候,全球有不少大廠在研究大模型,并推出了自己的階段性產(chǎn)品。在那個時候,GPT并不是明顯的一騎絕塵的那一個。
? ? ? ? ?
Facebook、Google、智源(清華旗下)、達摩院(阿里旗下)、鵬城實驗室(華為旗下)等企業(yè)的作品都很出色。
? ? ? ? ?
甚至廣大吃瓜群眾一度認為Google的BERT才是未來。? ? ? ??
? ? ? ? ?
? ? ? ? ?
2021年,鵬程發(fā)布了盤古模型,并進行了開源(PS,智源的ChatGLM也進行了開源,其最簡化的版本在消費級顯卡就可以單機跑起來,支持純國產(chǎn)化硬件平臺,在算力卡受到制約的時候,國產(chǎn)硬件可以聚集規(guī)模優(yōu)勢,所以星空君很看好這個模型,不過最近搞了一塊3060,只有12G顯存,距離ChatGLM的13G最低顯存要求還有一步之遙)。
? ? ? ? ?
從時間線上來看,和ChatGPT相比,盤古大約落后不到兩年的樣子。
? ? ? ? ?
后面差的,是燒錢上算力進行訓(xùn)練。
? ? ? ? ?
為什么華為會搞大模型?
? ? ? ? ?
先從OpenAI搞大模型說起,是誰成就了ChatGPT?微軟。
? ? ? ? ?
除了投錢買顯卡外,微軟還提供了Azure云計算資源。
? ? ? ? ?
訓(xùn)練數(shù)據(jù)需要大量的云資源,從ChatGPT對編程的過于熟練的程度看(訓(xùn)練了GitHub全部代碼?),不負責(zé)任的猜想,GPT模型的訓(xùn)練,甚至有可能基于某種法律的灰色地帶使用了云端用戶的數(shù)據(jù)。
? ? ? ? ?
智源劍走偏鋒,用的是小算力模式。
? ? ? ? ?
阿里達摩院就不多說了,背后靠著阿里云。星空君非??春眠_摩院的大模型,之前看到達摩院在打磨面向AI算力的RISC-V“玄鐵”CPU的時候,就看明白它要干什么了?;蛟S過一段時間,江湖會有屠龍刀出現(xiàn)。
? ? ? ? ?
而華為有一項業(yè)務(wù)就很少有人知道了,它是全球前五大云計算廠商(中國排第二,僅次于阿里云)之一,市場占有率2.8%左右。
? ? ? ? ?
? ? ? ? ?
在政務(wù)云等專業(yè)云領(lǐng)域,華為云在多個細分市場都是國內(nèi)第一。
? ? ? ? ?
正是依托于自身的云計算業(yè)務(wù),華為才有了建設(shè)大模型的能力。
? ? ? ? ?
同樣的,搞云計算的廠商,都有機會在大模型領(lǐng)域“大力出奇跡”。
? ? ? ? ?
比如默不作聲的騰訊,騰訊云是國內(nèi)云計算第三把交椅,搞出來個混元大模型。
? ? ? ? ?
據(jù)介紹,騰訊混元AI大模型目前主要覆蓋NLP(自然語言處理)、CV(計算機視覺)、多模態(tài)等基礎(chǔ)模型和眾多行業(yè)/領(lǐng)域模型。
? ? ? ? ?
此外,騰訊方面表示,近期混元AI大模型團隊也推出了萬億中文NLP預(yù)訓(xùn)練模型HunYuan-NLP-1T,實現(xiàn)在中文語言理解能力上的新突破,而且得益其低成本、普惠等特點,目前HunYuan-NLP-1T大模型已成功落地于騰訊廣告、搜索、對話等內(nèi)部產(chǎn)品并通過騰訊云服務(wù)外部客戶?;煸狽LP大模型未來一方面會著力于探索更大的模型參數(shù)規(guī)模,另一方面也會結(jié)合音頻、圖像、視頻等多模態(tài)信息,進一步打造更強大的多模態(tài)AI大模型。另外隨著AIGC(人工智能內(nèi)容生成)方向的火熱興起,未來混元AI大模型也會不斷推進在文本內(nèi)容生成、文生圖等領(lǐng)域的持續(xù)升級。
? ? ? ? ?
總體來說,星空君對第四次工業(yè)革命的技術(shù)儲備還是很樂觀的。
? ? ? ? ?
我知道很多人看不起中國的高科技企業(yè),就像當(dāng)年看不起小米加步槍。
? ? ? ? ?
畢竟,之前的工業(yè)革命,我們連看客的資格都沒有:
? ? ? ? ?
在英國人瓦特改良蒸汽機的時候,乾隆正在下江南;德國人本茨發(fā)明汽車的時候,中國剛剛結(jié)束兩次鴉片戰(zhàn)爭;美國人莫克利和艾克特發(fā)明第一臺計算機的時候,中國全面內(nèi)戰(zhàn)爆發(fā)。
? ? ? ? ?
而這一次,我們不會再錯過了。