大語(yǔ)言模型的參數(shù)規(guī)模有多快呢？我們不妨來(lái)看一下有網(wǎng)友統(tǒng)計(jì)的大語(yǔ)言模型的參數(shù)量。據(jù)說(shuō)現(xiàn)在功能最強(qiáng)大的大語(yǔ)言模型GPT-4的參數(shù)規(guī)模已經(jīng)超過(guò)了萬(wàn)億，短短4、5年的時(shí)間就增長(zhǎng)了超100倍。

大語(yǔ)言模型為什么能力這么強(qiáng)大？本質(zhì)的原因在于超大規(guī)模的參數(shù)。每個(gè)神經(jīng)網(wǎng)絡(luò)單元都有簡(jiǎn)單、可描述的運(yùn)算規(guī)則，然而大量的神經(jīng)網(wǎng)絡(luò)單元連接在一起，就涌現(xiàn)出組成其的神經(jīng)網(wǎng)絡(luò)單元、層所不具備的能力。那么為什么是語(yǔ)言模型的規(guī)模會(huì)出現(xiàn)暴漲，并且受到業(yè)內(nèi)乃至社會(huì)的廣泛關(guān)注呢？