開頭大事件3月梳理

pytorch lining 創(chuàng)始人

instragram 律師考試視頻

如果是在大模型大數(shù)據(jù)集上才能看出結(jié)果，那個開銷太大了，一般我們還是在小模型，小數(shù)據(jù)集上看work不work。

大模型上涌現(xiàn)導(dǎo)致這個是困難的。

只是為了align，甚至還會降低準(zhǔn)確率

預(yù)測scaling

在gpt-4剛開始的時候就能預(yù)測最后的loss，

多幾多卡會斷很多次，訓(xùn)練大模型很不容易。scaling也是noverty一個方面。

這里臺大的李宏毅也講過這個例子，好巧還是老師也看過那個課呢，原來是twwiter上很火的例子

對于編程題的爭議

NLP一些任務(wù)測試都是超過之前的，只是對于時間和數(shù)學(xué)理解不好

多語言能處理；

李永樂測試chatgpt；對于文本還是需要人來校驗，對于純語言還是不行。

視覺輸入

跑分：NLP是大比分領(lǐng)先，多模態(tài)還沒有超過sota

這里李宏毅也是講過的，但是還沒抬理解還是比較新的。校準(zhǔn)性，要不要做post-tring？新的研究題目

risk做產(chǎn)品甚至比模型還重要。

不能避免生成，但是可以生成之后做判別。

AGI元年

更多的例子，又放出了一個論文spark。。。

視覺圖像生成，生成代碼，gpt4自己能不斷refine。

對勞動力市場的影響：

science 和critical thinking的能力不會替代，但是programming和writing的能力會極大受到影響--哪些會受到影響，部分工作會被替代--陶哲軒數(shù)學(xué)家

paradig shif

推薦twitter：關(guān)于最近的焦慮解答 在如此魔幻的2023年的真情流露，科學(xué)家視角