新浪大佬張俊林最新演講——大型語(yǔ)言模型的涌現(xiàn)能力:現(xiàn)象與解釋

我的簡(jiǎn)單總結(jié)(個(gè)人理解,不一定對(duì)哈)
?
任務(wù) VS. 量級(jí)
復(fù)雜任務(wù): 100B量級(jí)大模型
部分復(fù)雜任務(wù):10B量級(jí)中大模型
大量簡(jiǎn)單任務(wù):<10B量級(jí) 中,小模型
?
模型 VS .人腦 VS. 計(jì)算機(jī)
記憶能力(內(nèi)存)+邏輯能力(xpu)
?
我們?nèi)绾巫??How?
按任務(wù)來(lái)分:復(fù)雜任務(wù)\簡(jiǎn)單任務(wù)
1.大模型小型化(本身大模型參數(shù)并沒(méi)有充分利用),然后解決復(fù)雜任務(wù)
- 一些類chatgpt的項(xiàng)目:colossal AI,Alpaca/ChatLLaMA,ChatGLM,ChatRWKV
2.中大模型解決部分復(fù)雜任務(wù)
3.小模型解決簡(jiǎn)單任務(wù)
4.面向大模型api編程?
- 優(yōu)點(diǎn):解決復(fù)雜問(wèn)題,prompt engineering
- 缺點(diǎn):
- 也有很多技術(shù)上的問(wèn)題:幻覺,有毒,固有觀念,一些復(fù)雜任務(wù)效果還有較大上升空間
- 非技術(shù)上的問(wèn)題:收費(fèi)、泄露信息、受制于人
標(biāo)簽: