最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

GPT是否理解語義?

2023-05-18 09:16 作者:數(shù)字化技術(shù)專家  | 我要投稿

2023年三月份,英偉達(dá)CEO黃仁勛和OpenAI首席科學(xué)家伊利亞·蘇茨科弗(Ilya Sutskever)有一個(gè)對(duì)談 。在這個(gè)對(duì)談中,蘇茨科弗進(jìn)一步解釋了GPT是怎么回事兒。 蘇茨科弗說,GPT的確只是一個(gè)神經(jīng)網(wǎng)絡(luò)語言模型,它被訓(xùn)練出來只是要預(yù)測(cè)下一個(gè)單詞是什么——但是,如果你訓(xùn)練得足夠好,它就能很好地掌握事物之間的各種統(tǒng)計(jì)相關(guān)性。而這就意味著神經(jīng)網(wǎng)絡(luò)真正學(xué)習(xí)的,其實(shí)是「世界的一個(gè)投影(a projection of the world)」——

神經(jīng)網(wǎng)絡(luò)所學(xué)習(xí)的是越來越多的世界、人們、人類境況的方方面面,包括他們的希望、夢(mèng)想、動(dòng)機(jī),以及他們之間的互動(dòng)和我們所處的各種情境。神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)了對(duì)這些信息進(jìn)行壓縮、抽象和實(shí)用的表示。這就是通過準(zhǔn)確預(yù)測(cè)下一個(gè)詞匯所學(xué)到的內(nèi)容。而且,預(yù)測(cè)下一個(gè)詞匯的準(zhǔn)確性越高,這個(gè)過程中的保真度和分辨率就越高。

換句話說,GPT學(xué)的其實(shí)不是語言,而是語言背后的那個(gè)真實(shí)世界!即GPT理解語義,甚至語義背后隱藏的常識(shí)。

據(jù)OpenAI總裁格雷格·布羅克曼(Greg Brockman)在四月份的一次TED演講 中說,最早的一次關(guān)鍵突破是發(fā)生在2017年。當(dāng)時(shí)OpenAI的一個(gè)工程師用亞馬遜商品評(píng)論訓(xùn)練了一個(gè)很簡(jiǎn)單的語言模型,那個(gè)模型明明分析的是*句法*,可是卻自動(dòng)獲得了*語義*的感覺,能夠判斷和設(shè)定一段評(píng)論中的情感是正面的還是負(fù)面的。 然后GPT用上了 Transformer 架構(gòu)。并在在2021年前后,GPT有了我們前面講過的「開悟」和「涌現(xiàn)」,自動(dòng)擁有了「少樣本學(xué)習(xí)」的能力,長(zhǎng)出了推理能力,有了思維鏈。也就是說,GPT這個(gè)語言模型,抓住了語言背后的那個(gè)東西。

依舊是在今年三月份的一個(gè)播客訪談中,蘇茨科弗還舉了個(gè)例子。他說哪怕沒有多模態(tài)功能,GPT單純從文本上學(xué)習(xí),也已經(jīng)對(duì)顏色有了很好的理解。它知道紫色更接近藍(lán)色而不是紅色,知道橙色比紫色更接近紅色……它在不同的語料中讀過那些顏色,但它記住的不是具體的語料,而是語料所代表的世界。它默默地掌握了那些顏色之間的關(guān)系。

AI單憑文本,就掌握了世界的常識(shí)。海德格爾在他哲學(xué)理念里頗為超前地?cái)嘌赃^這樣一個(gè)事實(shí),即語言即存在?,F(xiàn)在僅僅通過語言,神經(jīng)網(wǎng)絡(luò)也能獲得和人極為類似對(duì)于這個(gè)世界的理解。會(huì)解釋,能推理,能看懂圖片中的笑話,會(huì)寫文章會(huì)編程。如果這還不叫理解,什么才是理解?

事情正在向「AI和人腦沒有本質(zhì)區(qū)別,語言模型就是真實(shí)世界本身的投射」這個(gè)方向演進(jìn)。美國(guó)華裔科幻作家特德·姜也表達(dá)了同樣觀點(diǎn),他恐怕是最擅長(zhǎng)就人類技術(shù)進(jìn)行描述、解構(gòu)和推想的。他在一個(gè)月前的文章里說,“我們可以把 ChatGPT 看做網(wǎng)上全部文本的模糊圖像,它經(jīng)過壓縮,保存了大部分信息,但是如果你要尋找精確的比特序列,卻無法在里面找到,得到的只有一個(gè)近似值。這個(gè)近似值是以語法文本呈現(xiàn)的,語言這個(gè)工具本身就是含混的嘛,所以你會(huì)覺得這個(gè)來自模糊圖像的結(jié)果可以接受?!蹦憧?,機(jī)器固然沒有做到精確,我們不是也很少做到精確嗎? GPT從語法分析中自動(dòng)涌現(xiàn)出語義來,是通往AGI的最關(guān)鍵一步。這大概是21世紀(jì)以來人類最重要的發(fā)現(xiàn)。不用說圖靈獎(jiǎng),AGI可以被視作是有生命的,也許應(yīng)該給個(gè)「諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)」。

人類自認(rèn)為驕傲的智慧可能岌岌可危,但其實(shí)這樣危機(jī)絕不是現(xiàn)在才有,在諾獎(jiǎng)得主石黑一雄的《克拉拉和太陽》里表達(dá)過這樣一個(gè)觀點(diǎn),為了陪伴人類兒童而設(shè)計(jì)的人工智能克拉拉一直在追求擁有完美的人性,與此同時(shí),人卻在想著怎樣用機(jī)器去提升自己的智力,甚至不惜犧牲健康,這是一個(gè)絕妙的諷刺:機(jī)器在追求人性化,而人在追求機(jī)器化。我們需要擔(dān)心的,正是自己會(huì)不會(huì)先變成機(jī)器?

最后我總結(jié)一下對(duì)于人類未來思考,在已然到來的智能時(shí)代,人類第一不要再頑固地堅(jiān)守萬物之靈的驕傲了,要學(xué)會(huì)主動(dòng)地和AI合體,讓他成為自己生活中一部分,就像手機(jī),就像車,當(dāng)然他要解決的比手機(jī)和車更重要的問題,是思考。但合體后的思考,不是人類放棄思考,全部假以AI之手,而是在更加主動(dòng)思考情況下把AI當(dāng)做一臺(tái)智慧道路上導(dǎo)航儀。所為主動(dòng)思考就是你要清楚要去發(fā)現(xiàn),解釋何種問題,同時(shí)你要有解決問題的邏輯主線。其次,大量閱讀成為擴(kuò)張你思考能力最為重要的手段,你的知識(shí)結(jié)構(gòu)大小決定了你能從AI那里得到多少有價(jià)值的信息,我常常做這樣一個(gè)比喻,和AI對(duì)話,就像用球砸一個(gè)網(wǎng)兜,如果你的知識(shí)體系小,那就像用乒乓球砸網(wǎng)兜,如果知識(shí)體系大,就像用籃球砸。那么接下來道理誰都將懂了,只有籃球才能把網(wǎng)兜砸出動(dòng)靜來。所以AI對(duì)于無知者是沒有太大價(jià)值了,無知在智能時(shí)代將會(huì)更加窘迫,請(qǐng)不要對(duì)大量閱讀有任何僥幸心理,現(xiàn)在很重要,未來更重要。第三,我們要關(guān)注人性成長(zhǎng),獨(dú)立人格的完備,要避免自己機(jī)器化,流程化,模板化,標(biāo)準(zhǔn)化。而批判性思維就是關(guān)鍵,關(guān)于如何完備獨(dú)立人格,如何刻意訓(xùn)練批判性思維我在前面文章里有大量論述,在此不再贅述。這就是我對(duì)當(dāng)下就以呈現(xiàn)的新時(shí)代的一些思考,保持謙卑,保持開放,沒有任何曾經(jīng)的驕傲可以固守,但人類演化也不會(huì)停止,一切你都可以在此刻做出選擇,也只有自己才能決定你和下一代的未來。

GPT是否理解語義?的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
慈溪市| 林西县| 安岳县| 扬州市| 麻阳| 长岭县| 长子县| 文登市| 镇平县| 大竹县| 寻甸| 八宿县| 临汾市| 榆社县| 手机| 隆尧县| 辉南县| 丽江市| 特克斯县| 定安县| 醴陵市| 嘉禾县| 右玉县| 宝鸡市| 富民县| 德令哈市| 郧西县| 西华县| 榕江县| 莱西市| 正阳县| 建阳市| 昭通市| 上饶市| 松溪县| 隆回县| 叙永县| 大理市| 惠水县| 始兴县| 阿瓦提县|