ChatGPT這部機器本身是沒有記憶力的

你每次給他發(fā)送的提示詞對它來書都是全新的

所有的信息都在這一次提示詞中

它給的回答完全依賴于你所給的提示詞

那么chatgpt是如何記住我們歷史聊天記錄的呢？方法很簡單，如圖所示，把之前你聊天歷史的所有問題和回答都發(fā)給chatgpt，這樣看上去它好像就記住了，你們的聊天內(nèi)容了。

人類的大腦都是獨立的（目前認(rèn)知范圍內(nèi)）

人工智能的結(jié)構(gòu)：共享大腦

基于大語言模型的人工智能可以認(rèn)為是共享一個大腦

一個獨立的上下文等于是一個獨立的機器人

當(dāng)然不能無限制的把聊天記錄發(fā)給chatgpt

我們每次給GPT輸入的提示詞是有限的

GPT-3.5:4k token,相當(dāng)于3000字的小論文長度

GPT-4.0：32k token, 大約25000字，相當(dāng)于研究生畢業(yè)論文的字?jǐn)?shù)，或者一篇中偏小說的長度

Claude:10萬字

突破AI記憶能力的方案有兩種（目前）：

AI不需要記住對話的每個細(xì)節(jié)，只需要知道最近幾次對話的細(xì)節(jié)就可以了。再往前的對話讓AI自己總結(jié)概括即可。這樣看似AI記住了很長的時間信息，實際上AI的記憶能力仍然僅限于這個prompt中。如圖所示：

采用總結(jié)上下文的效果如圖所示：

所以目前的AI記憶容量是有限的，那么AI有辦法做到長期記憶嗎。

向量數(shù)據(jù)庫不是通過SQL語言查詢返回確定的結(jié)果。而是按照相似度，給出一系列可能的查詢結(jié)果。

例如：查是城市，返回結(jié)果安裝概率排序

（推薦算法應(yīng)該用到了很多這個技術(shù)）

介紹完向量數(shù)據(jù)庫（vector embedding），我們來介紹一下AI是如何使用向量數(shù)據(jù)庫的。

GPT的每一次調(diào)用都是獨立的，Bear that in mind.沒有記憶的，那么GPT的記憶只能來自于每次給它發(fā)送的prompt提示詞（也就是上下文）.有了向量數(shù)據(jù)庫的加成， 我們就可以把

1.想問的問題從向量數(shù)據(jù)庫中提取出來然后拼接成上下文發(fā)送給GPT

2.而GPT返回的信息又保存到向量數(shù)據(jù)庫中，這樣這個向量數(shù)據(jù)庫就成了GPT的長時記憶

GPT作為一種神經(jīng)網(wǎng)絡(luò)可以分為訓(xùn)練和推理階段，在訓(xùn)練階段，通過反向傳播，不斷調(diào)整網(wǎng)絡(luò)參數(shù)，GPT本身會知道2021年以前的事情，而推理階段，網(wǎng)絡(luò)已經(jīng)成型，無法接受新的知識，

動態(tài)神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)可以在推理的時候，可以反向傳播，修改網(wǎng)絡(luò)的參數(shù)，這樣就實現(xiàn)了網(wǎng)絡(luò)參數(shù)的自適應(yīng)。

如果這是真的，全世界都在使用與之對話的LLM，就會成為名副其實的奧創(chuàng)，他可能擁有萬一級別的神經(jīng)元連接，所帶來的超級智能，它了解全人類的知識，我們真的不知道我們打開的瓶子是阿拉丁燈神，還是瓶中惡魔。