太長(zhǎng)不看

暴力堆砌網(wǎng)絡(luò)規(guī)?？赡芸梢赃_(dá)成通用人工智能

最近 AGI（通用人工智能）的討論相當(dāng)火熱，雖然我不認(rèn)為 GPT-4 可以被稱為 AGI，盡管已經(jīng)有研究人員認(rèn)為其觸碰到了 AGI 的門檻[1]。

不知道你有沒有聽說過一個(gè)概念叫做涌現(xiàn)（Emergence）。

涌現(xiàn)描述的是一種現(xiàn)象，即在一個(gè)系統(tǒng)中出現(xiàn)的整體性質(zhì)或行為，這些特性或行為并不是由系統(tǒng)中每個(gè)組成部分的簡(jiǎn)單相加所能解釋的。相反，這些特性或行為是由系統(tǒng)中各個(gè)部分之間的相互作用和反饋引起的，這些部分在局部上表現(xiàn)為簡(jiǎn)單的規(guī)律和行為，但在全局上則表現(xiàn)出了復(fù)雜、多樣和新穎的現(xiàn)象。

對(duì)于人類個(gè)體來說，每個(gè)神經(jīng)元是簡(jiǎn)單的，一個(gè)人總共的神經(jīng)元數(shù)量在 10^10 量級(jí)。但是簡(jiǎn)單地相加神經(jīng)元的功能并不能解釋智慧是如何產(chǎn)生的。相反，它是由大量神經(jīng)元之間的相互作用和反饋引起的，這些神經(jīng)元在局部上表現(xiàn)出簡(jiǎn)單的規(guī)律和行為，但在全局上則表現(xiàn)出了復(fù)雜、多樣和新穎的智慧。

GPT-3 中已經(jīng)有了?1750 億參數(shù)，這在十年前是不敢想象的。如此龐大規(guī)模的計(jì)算，即使是超級(jí)計(jì)算機(jī)，也很難勝任。

這種超大規(guī)模的并行化的計(jì)算能力，在可見的未來的很長(zhǎng)一段時(shí)間中都將保持著這種線性增長(zhǎng)，甚至?xí)霈F(xiàn)指數(shù)增長(zhǎng)。而這種計(jì)算能力的增長(zhǎng)，所代表的是，可以暴力堆砌網(wǎng)絡(luò)規(guī)模，來試圖完成某些之前認(rèn)為可能是不可能的任務(wù)。

而我所擔(dān)憂的是，涌現(xiàn)在這個(gè)過程中所具有的強(qiáng)大潛力，超大規(guī)模神經(jīng)網(wǎng)絡(luò)可能并且很有可能在某種程度上誕生智能。如同比爾·希恩斯在三體里試圖模擬人腦一樣，也許很快，這種暴力堆砌就會(huì)達(dá)到一個(gè)奇點(diǎn)。

[1]:?Sparks of Artificial General Intelligence: Early experiments with GPT-4 https://arxiv.org/abs/2303.12712