ChatGPT、PaLM2大模型會(huì)帶來(lái)什么???

????????????大模型,注重的便是大這個(gè)字,之前一直說(shuō)過(guò)人腦從算力方面可以碾壓現(xiàn)在的計(jì)算機(jī),但這點(diǎn)正在打破,并不需要通過(guò)算力也能獲得強(qiáng)大的智慧,也就是說(shuō)并不是越快越聰明,而是知識(shí)越多越聰明,GPT從1-3,參數(shù)量由1.17億 到 1750 億,更別提3.5和4了;
????????????和GPT溝通過(guò)變可以發(fā)現(xiàn),無(wú)論出什么問(wèn)題,即使是錯(cuò)的,它也能說(shuō)得頭頭是道,這正是因?yàn)樗挠?xùn)練方式而成,GPT的訓(xùn)練方式非常粗暴,但在達(dá)到一定數(shù)量級(jí)后卻非常有效;總結(jié)來(lái)說(shuō)GPT讀文本的方式和寫(xiě)文本的方式完全運(yùn)用的就是推算,根據(jù)所有學(xué)過(guò)的內(nèi)容不停的根據(jù)提問(wèn)和上下文推算下一個(gè)字詞,在具體訓(xùn)練中會(huì)有更加復(fù)雜的方式和糾正工作(標(biāo)注)等,還有微調(diào),這里就不做過(guò)于深入的分析了。
????其中對(duì)于特定任務(wù),還可以通過(guò)微調(diào)模型來(lái)適應(yīng)特定的任務(wù)需求,進(jìn)一步提高生成質(zhì)量和準(zhǔn)確性。
????????總的來(lái)說(shuō)問(wèn)GPT問(wèn)題和問(wèn)搜索引擎無(wú)疑,但GPT是學(xué)過(guò)大量數(shù)據(jù)的,它可以幫助我們不用從搜索結(jié)果中挨個(gè)排除無(wú)意義數(shù)據(jù),找到我們真正需要的,但為了結(jié)果的準(zhǔn)確性,問(wèn)問(wèn)題的時(shí)候也要適量的添加修飾詞。GPT就像一個(gè)讀過(guò)所有圖書(shū)的學(xué)過(guò)所有知識(shí)的圖書(shū)管理員,他可以找到這些知識(shí)并根據(jù)你的問(wèn)題講解出來(lái),而且像對(duì)話一樣,即使你要求它扮演角色,它也可以根據(jù)上下文以及所學(xué)過(guò)的"角色扮演《演員的自我修養(yǎng)》。。。"與你對(duì)話。
????????它的智能主要體現(xiàn)在文本的處理上,接入語(yǔ)音系統(tǒng)后它真的可以變成我們想象中的全知全能的機(jī)器人,它可以生成具體的操作步驟或指令,然后下達(dá)給具體的硬件再由硬件去實(shí)施即可。
????????但目前的缺點(diǎn)卻是數(shù)據(jù)不夠用了,GPT訓(xùn)練的數(shù)據(jù)當(dāng)然是越優(yōu)越好,提問(wèn)的問(wèn)題越是詳細(xì)越好,最近谷歌的PaLM2也有了消息,訓(xùn)練的數(shù)據(jù)量也是同樣驚人,達(dá)到3.6萬(wàn)億,接近gpt3的20倍!而且大部分?jǐn)?shù)據(jù)都是優(yōu)質(zhì)數(shù)據(jù),可以期待一波了。
????目前大模型AI主要受限還是成本和輿論,之前AI繪畫(huà)從小有成就出現(xiàn)到爆發(fā)式增長(zhǎng)也不到半年時(shí)間,其中主要時(shí)間還是在迭代直到突破出現(xiàn)的novelai,目前主要也就是nv、sd、mj還有一些其他的。
????????目前國(guó)內(nèi)的GPT效果主要還是在中文訓(xùn)練數(shù)據(jù)較多,在中文上略有優(yōu)勢(shì),但速度肯定是比不上GPT和PaLM的啦,所以目前來(lái)看在下一波技術(shù)突破到來(lái)前,大模型AI的運(yùn)用還有一些時(shí)間,但技術(shù)就是這樣,隨時(shí)都有可能突破,從量的堆積到質(zhì)的提升總要經(jīng)過(guò)一個(gè)臨界點(diǎn)。