GPT-4參數(shù)最新爆料！1.76萬億參數(shù)，8個2200億MoE模型，深信不疑
2023-06-21 14:28 作者:一起學(xué)chatGPT一起學(xué)ai | 我要投稿
家人們，GPT-4的參數(shù)可能還真不止1萬億！近來，美國知名駭客George Hotz在接受采訪時透露，GPT-4由8個220B模型組成。這么算來，8 x 220B = 1.76萬億。就連PyTorch的創(chuàng)建者Soumith Chintala對此也深信不疑。GPT-4：8 x 220B專家模型用不同的數(shù)據(jù)/任務(wù)分布和16-iter推理進行訓(xùn)練。如果真是這樣的話，GPT-4的訓(xùn)練可能更加有效。
1.76萬億「八頭蛇」？
他特別強調(diào)，OpenAI做了8個混合專家模型，任何人可以花8倍資金都能訓(xùn)練出來。也就是說，人們能夠訓(xùn)練更小模型更長時間，微調(diào)后，就能找到這些技巧。OpenAI曾經(jīng)發(fā)表類似關(guān)于讓計算量不變的情況下，讓訓(xùn)練更好的算法，比較像BatchNorm和NoBatchNorm。GPT-4每個head都有2200億參數(shù)，是一個8路的混合模型。所以，混合模型是當你想不出辦法的時候才會做的。OpenAI訓(xùn)練了相同模型8次，他們有一些小技巧。他們實際上進行了16次推斷。
網(wǎng)友熱評
就像George所說，這是8個較小的模型，如果有足夠資金訓(xùn)練8個混合模型，這是一個微不足道的解決方案。
