今天找論文的時候發(fā)現(xiàn)了這么一篇論文：

什么？去中心化大模型已經(jīng)在畫餅了嗎？

1.去中心化、區(qū)塊鏈與比特幣

有經(jīng)驗的人看到標(biāo)題應(yīng)該就知道這篇文章構(gòu)建的系統(tǒng)主要是參考區(qū)塊鏈技術(shù)，具體來說就是比特幣

當(dāng)然，雖然我是上過區(qū)塊鏈專業(yè)課的，但實際上并不是很懂比特幣這個東西，所以就挑一些有用的知識說一下

我們知道，區(qū)塊鏈要做的是一個去中心化的系統(tǒng)，也就是說，沒有一個強大的第三方機構(gòu)把持和維護某個系統(tǒng)，而是大家共同在維護一個系統(tǒng)

在大模型這里就很清楚了，OpenAI只是讓你使用ChatGPT，而沒有把模型參數(shù)、甚至是數(shù)據(jù)給你，或者說，ChatGPT是掌握在OpenAI手上的，OpenAI出故障那ChatGPT就要封閉維護。而去中心化實際上就是一種分布式技術(shù)，是由參與者共同維護的，某個節(jié)點的暫時故障不會影響到整個系統(tǒng)。當(dāng)然，去中心化還有其他優(yōu)缺點，這里不一一說明了

2.去中心化大模型

本文的思想也是這樣，我們也許可以去中心化地訓(xùn)練大模型，這樣參與者都可以上傳自己的數(shù)據(jù)（準(zhǔn)確來說是梯度信息）。由于上傳信息是需要梯度幣的，相對來說上傳質(zhì)量會更高一些（物以稀為貴），這樣就可以訓(xùn)練出一個“可能”更好的大模型

想法效仿比特幣，每個用戶要使用梯度幣才可以提交自己的梯度信息。對于一般“比特幣礦工”來說，最早挖出節(jié)點會得到比特幣作為激勵，梯度幣礦工也需要最早完成一次模型訓(xùn)練以獲得梯度幣激勵，或者說上傳自己數(shù)據(jù)的機會。

其他很多東西也都和比特幣那套系統(tǒng)大差不差，簡單來說，就是每個人都要工作才能獲得好處。

3.問題

好處直接不談了，我個人直接來談?wù)勥@種做法存在的很嚴(yán)重的問題吧：

（1）依然是算力游戲。訓(xùn)練大模型這種事可不是能隨便說說的，現(xiàn)在之所以很多基座大模型都是大公司的，還不是因為只有它們才有足夠的算力資源，讓一般用戶參與訓(xùn)練大模型本身就很困難了。

（2）訓(xùn)練將會及其緩慢。畢竟梯度幣這個系統(tǒng)是不和真正的金錢掛鉤的，用戶所能獲得的全部好處也不過是讓自己的訓(xùn)練數(shù)據(jù)占比更大一些，讓模型“稍稍”更適合自己而已，缺少足夠的激勵，最終用戶估計只有一個小圈子。而且這套系統(tǒng)在有用戶完成模型訓(xùn)練后同步全部人的“本地模型”，通訊本身就是一大問題

（3）如何使用。訓(xùn)練好這個大模型后該怎么辦呢？估計仍然是小圈子內(nèi)使用，開源可能面臨一連串問題

論文中作者也提到這只是一個設(shè)想罷了，目前來看仍然是一個大餅