介紹

在我們快節(jié)奏的數(shù)字世界中，人工智能以其卓越的能力不斷給我們帶來(lái)驚喜。它的最新突破之一是檢索增強(qiáng)生成，被親切地稱(chēng)為 RAG。這種創(chuàng)新就像一個(gè)數(shù)字巫師，融合了圖書(shū)館員和作家的技能。它有望改變我們查找和解釋信息的方式，并有望在未來(lái)比以往任何時(shí)候都更容易、更有洞察力地獲取知識(shí)。

學(xué)習(xí)目標(biāo)

● 了解檢索增強(qiáng)生成 （RAG） 的基本概念。

● 了解 RAG 如何將檢索和生成 AI 方法相結(jié)合。

● 深入了解 RAG 從查詢(xún)到響應(yīng)的內(nèi)部工作原理。

● 認(rèn)識(shí)到 RAG 在效率和定制方面的重要性。

● 了解 RAG 在各個(gè)領(lǐng)域的各種應(yīng)用。

● 展望 RAG 技術(shù)的未來(lái)發(fā)展和影響。

● 了解 RAG 如何彌合海量數(shù)字知識(shí)和人際互動(dòng)之間的差距。

什么是 RAG？

讓我們從基礎(chǔ)開(kāi)始。RAG 結(jié)合了兩種截然不同的 AI 方法：

檢索

想象一下，一個(gè)包含所有人類(lèi)知識(shí)的數(shù)字圖書(shū)館。檢索 AI 具有不可思議的能力，可以快速獲取最相關(guān)的信息以響應(yīng)查詢(xún)。這就像有一個(gè)私人圖書(shū)管理員，他可以為您的問(wèn)題找到完美的書(shū)。

選擇 AI 是檢索過(guò)程的一部分，涉及從檢索到的一組文檔中選擇最相關(guān)的信息。下面是一個(gè)代碼片段，說(shuō)明了這個(gè)概念：

此代碼片段演示了 Selection AI 在檢索過(guò)程中的工作方式。它使用 TF-IDF 向量和余弦相似度，根據(jù)用戶查詢(xún)從集合中選擇最相關(guān)的文檔。

產(chǎn)生

相反，生成式人工智能可以像人類(lèi)寫(xiě)作一樣詭異地制作文本。它可以寫(xiě)論文，構(gòu)建對(duì)話對(duì)話，甚至生成詩(shī)句。把它想象成一個(gè)熟練的文字匠，隨時(shí)準(zhǔn)備撰寫(xiě)任何主題的文本。

此代碼片段展示了 Generation AI，其中預(yù)訓(xùn)練的 GPT-2 模型根據(jù)用戶的提示生成文本。它模擬了 RAG 如何創(chuàng)建類(lèi)似人類(lèi)的響應(yīng)。這些片段說(shuō)明了 RAG 的選擇和生成方面，它們共同有助于制定智能和上下文感知響應(yīng)。

選擇 AI：RAG 等系統(tǒng)的關(guān)鍵組件

選擇 AI 是 RAG（檢索增強(qiáng)生成）等系統(tǒng)的關(guān)鍵組成部分。它有助于從檢索到的文檔集中選擇最相關(guān)的信息。讓我們使用簡(jiǎn)化的代碼片段來(lái)探索 Selection AI 的實(shí)時(shí)示例。

場(chǎng)景：假設(shè)您正在構(gòu)建一個(gè)問(wèn)答系統(tǒng)，該系統(tǒng)從文檔集合中檢索答案。當(dāng)用戶提出問(wèn)題時(shí)，您的 Selection AI 需要從文檔中找到最匹配的答案。

下面是一個(gè)基本的 Python 代碼片段，演示了 Selection AI 的實(shí)際應(yīng)用：

在此示例中，我們利用 Selection AI 來(lái)回答用戶關(guān)于深度學(xué)習(xí)的問(wèn)題。我們建立了一個(gè)知識(shí)庫(kù)，生成TF-IDF向量來(lái)評(píng)估單詞的重要性，并計(jì)算余弦相似度以識(shí)別最相關(guān)的文檔。然后，系統(tǒng)提供最合適的文檔作為答案，展示了選擇AI在信息檢索中的實(shí)用性。

此代碼片段表示 Selection AI 的簡(jiǎn)化示例。在實(shí)踐中，使用更復(fù)雜的技術(shù)和更大的文檔集合，但核心概念保持不變：根據(jù)與用戶查詢(xún)的相關(guān)性選擇最佳信息。

大型語(yǔ)言模型 （LLM） 與 RAG 之間的關(guān)系

LLM，即大型語(yǔ)言模型，是一個(gè)更廣泛的人工智能技術(shù)類(lèi)別，包括 GPT-3（生成式預(yù)訓(xùn)練 Transformer 3）等模型。雖然 LLM 在自然語(yǔ)言處理和文本生成方面與 RAG（檢索增強(qiáng)生成）有一些相似之處，但它們的用途不同。RAG 特別專(zhuān)注于將檢索和生成 AI 技術(shù)相結(jié)合，以提供上下文感知響應(yīng)。它擅長(zhǎng)從大型數(shù)據(jù)庫(kù)中檢索信息，然后根據(jù)檢索到的數(shù)據(jù)生成連貫的響應(yīng)的任務(wù)。

另一方面，像 GPT-3 這樣的 LLM 主要是生成模型。它們可以為各種應(yīng)用程序生成類(lèi)似人類(lèi)的文本，包括內(nèi)容生成、語(yǔ)言翻譯和文本完成。LLM 和 RAG 是相關(guān)的，因?yàn)樗鼈兩婕罢Z(yǔ)言理解和生成。盡管如此，RAG 仍然專(zhuān)注于將這些功能組合用于特定任務(wù)，而 LLM 是更通用的語(yǔ)言模型。

RAG的內(nèi)部工作

RAG 巧妙地結(jié)合了這兩種 AI 超能力。下面是一個(gè)簡(jiǎn)化的視圖：

● 查詢(xún)： 您提出問(wèn)題或提供主題。這將用作您的查詢(xún)。

此代碼片段演示了如何制定查詢(xún)并將其發(fā)送到 RAG 進(jìn)行信息檢索。

● 檢索：RAG的檢索模塊開(kāi)始工作。它搜索龐大的知識(shí)庫(kù)以查找相關(guān)文檔、文章或網(wǎng)頁(yè)。

該代碼片段說(shuō)明了 RAG 如何從大量知識(shí)源（如數(shù)據(jù)庫(kù)或文檔）中檢索信息。

● 選擇：RAG 從檢索到的文檔中選擇最相關(guān)的信息。這就像圖書(shū)管理員在書(shū)架上找到最有用的書(shū)一樣。

以下代碼片段展示了 RAG 如何從檢索到的文檔中選擇最相關(guān)的信息。

● 產(chǎn)生：現(xiàn)在是生成部分。 RAG 將選定的信息編織成一個(gè)連貫的、類(lèi)似人類(lèi)的響應(yīng)。它精心設(shè)計(jì)了一個(gè)對(duì)您有意義的答案。

此代碼片段演示了 RAG 如何根據(jù)所選信息生成類(lèi)似人類(lèi)的響應(yīng)。

這些代碼片段概述了 RAG 內(nèi)部工作中的關(guān)鍵步驟，從查詢(xún)制定到響應(yīng)生成。它們幫助讀者了解 RAG 如何處理信息并在交互過(guò)程中產(chǎn)生連貫的反應(yīng)。

例子

● 問(wèn)題：您首先提出問(wèn)題或提供主題。這是你的問(wèn)題，就像問(wèn)，“今天天氣怎么樣？”

● 檢索到的查詢(xún)：RAG 接受您的問(wèn)題并查找相關(guān)信息。這就像去圖書(shū)館向圖書(shū)管理員要一本關(guān)于這個(gè)主題的書(shū)。

● 檢索到的文本：RAG 在其龐大的知識(shí)庫(kù)中搜索，就像圖書(shū)管理員在書(shū)架上搜索一樣。它查找與您的問(wèn)題相關(guān)的文本或文檔。

● 完整提示： RAG 將您的問(wèn)題和檢索到的信息結(jié)合起來(lái)。這就像圖書(shū)管理員把書(shū)遞給你，然后說(shuō)：“這有你需要的答案?！?/p>

● GPT 作為生成器：RAG 使用強(qiáng)大的文本生成器（如 GPT）來(lái)制作響應(yīng)。這就像讓一位才華橫溢的作家將書(shū)中的信息變成一個(gè)清晰易懂的答案。

● 響應(yīng)：RAG 生成對(duì)您有意義的響應(yīng)。就好像作者為您提供了一份寫(xiě)得很好且內(nèi)容豐富的回復(fù)。

● 用戶：最后，您（用戶）會(huì)收到回復(fù)并獲得問(wèn)題的答案，就像您與知識(shí)淵博的圖書(shū)館員交談時(shí)一樣。

為什么RAG很重要？

RAG 是一股變革力量，原因如下：

● 效率：它可以以驚人的速度提供準(zhǔn)確的答案，提高生產(chǎn)力。

● 定制：RAG 調(diào)整其響應(yīng)以適應(yīng)不同的寫(xiě)作風(fēng)格，使其具有令人難以置信的多功能性。

● 知識(shí)訪問(wèn)：它是您通往龐大知識(shí)庫(kù)的門(mén)戶，是教育、研究和客戶支持等領(lǐng)域的福音。

● 自然對(duì)話：RAG 將 AI 交互從機(jī)器人提升到類(lèi)似人類(lèi)，使對(duì)話更具吸引力。

● 內(nèi)容創(chuàng)作：作家和研究人員可以利用 RAG 的幫助進(jìn)行構(gòu)思和研究。

● RAG 的應(yīng)用 真實(shí)世界示例/案例研究

實(shí)際應(yīng)用

RAG已經(jīng)進(jìn)入了各種實(shí)際應(yīng)用，展示了其變革潛力。以下是一些值得注意的例子：

● 增強(qiáng)搜索引擎：領(lǐng)先的搜索引擎集成了 RAG 技術(shù)來(lái)改善搜索結(jié)果。當(dāng)您輸入查詢(xún)時(shí)，RAG 會(huì)通過(guò)提供更符合上下文的結(jié)果來(lái)幫助優(yōu)化您的搜索。這意味著你更有可能找到你要找的東西，即使你最初的查詢(xún)是模糊的。

● 虛擬助手：借助 RAG，聊天機(jī)器人和語(yǔ)音激活設(shè)備等虛擬助手變得更加智能和更具對(duì)話性。這些助手可以為各種問(wèn)題提供詳細(xì)的答案，使它們?cè)诳蛻糁С趾鸵话阈畔z索中非常有用。

● 教育支持：RAG 已進(jìn)入教育領(lǐng)域，使學(xué)生和教育工作者都受益。它可以回答學(xué)生關(guān)于各個(gè)科目的問(wèn)題，協(xié)助解釋復(fù)雜的主題，甚至為教師生成測(cè)驗(yàn)問(wèn)題和解釋?zhuān)?jiǎn)化學(xué)習(xí)過(guò)程。

● 內(nèi)容生成：作家和內(nèi)容創(chuàng)作者已經(jīng)發(fā)現(xiàn)了 RAG 在產(chǎn)生想法和協(xié)助研究方面的價(jià)值。它可以提供主題建議，總結(jié)文章，并提供相關(guān)報(bào)價(jià)，節(jié)省作者在內(nèi)容創(chuàng)作過(guò)程中的時(shí)間和精力。

● 醫(yī)學(xué)研究：在醫(yī)學(xué)研究領(lǐng)域，RAG 已被證明是無(wú)價(jià)的。研究人員可以使用 RAG 來(lái)搜索和總結(jié)最新的研究和發(fā)現(xiàn)，幫助他們了解快速發(fā)展的醫(yī)學(xué)文獻(xiàn)。

案例研究示例：RAG 增強(qiáng)型客戶支持

一家全球電子商務(wù)巨頭將 RAG 集成到其客戶支持聊天機(jī)器人中?？蛻艨梢杂米匀徽Z(yǔ)言詢(xún)問(wèn)有關(guān)產(chǎn)品、運(yùn)輸和退貨的問(wèn)題。RAG 驅(qū)動(dòng)的聊天機(jī)器人提供了快速答案，并根據(jù)客戶的偏好和過(guò)去的購(gòu)買(mǎi)情況提供產(chǎn)品推薦。客戶滿意度提高，從而提高了銷(xiāo)售額和留存率。

這些真實(shí)案例說(shuō)明了 RAG 如何在從搜索引擎到醫(yī)療保健和客戶支持的各個(gè)領(lǐng)域產(chǎn)生切實(shí)的影響。它高效檢索和生成信息的能力正在改變我們獲取知識(shí)和與技術(shù)互動(dòng)的方式。

結(jié)論

總之，檢索增強(qiáng)生成（RAG）代表了人工智能和人類(lèi)知識(shí)的非凡融合。RAG 充當(dāng)信息大師，從大量檔案中迅速檢索相關(guān)數(shù)據(jù)。它從這個(gè)數(shù)字寶庫(kù)中挑選出最優(yōu)質(zhì)的寶石，并制作出聽(tīng)起來(lái)非常人性化的回應(yīng)。

RAG 的能力有望改變我們與技術(shù)互動(dòng)的方式。它的潛在應(yīng)用是無(wú)限的，從增強(qiáng)搜索引擎到徹底改變虛擬助手。隨著我們深入數(shù)字時(shí)代，RAG 證明了人工智能和人類(lèi)智慧的不可思議的協(xié)同作用。 擁抱 RAG 意味著擁抱一個(gè)信息毫不費(fèi)力地流動(dòng)的未來(lái)，我們的問(wèn)題答案只需對(duì)話即可。它不僅僅是一個(gè)工具;它是我們與廣闊的人類(lèi)知識(shí)領(lǐng)域之間的橋梁，簡(jiǎn)化了在日益復(fù)雜的世界中尋求理解的過(guò)程。

關(guān)鍵要點(diǎn)

● 檢索增強(qiáng)生成 （RAG） 結(jié)合了檢索和生成 AI，其功能類(lèi)似于圖書(shū)管理員和熟練的作家。

● RAG 的內(nèi)部工作涉及查詢(xún)表述、信息檢索、選擇和響應(yīng)生成。

● RAG 提供效率、定制和自然對(duì)話，使其適用于各種應(yīng)用。

● 其應(yīng)用涵蓋搜索引擎、虛擬助手、教育、內(nèi)容創(chuàng)作和醫(yī)學(xué)研究。

● RAG 是 AI 和人類(lèi)知識(shí)之間的橋梁，簡(jiǎn)化了對(duì)大量信息資源的訪問(wèn)。

常見(jiàn)問(wèn)題解答

問(wèn)題1. 什么是 RAG？

答：RAG，即檢索增強(qiáng)生成，是一種先進(jìn)的技術(shù)，結(jié)合了兩種強(qiáng)大的人工智能功能：檢索和生成。這就像擁有一個(gè)數(shù)字助理，可以快速查找信息并以聽(tīng)起來(lái)像人類(lèi)編寫(xiě)的方式回答您的問(wèn)題。

問(wèn)題2. RAG是如何工作的？

答：RAG 只需幾個(gè)簡(jiǎn)單的步驟即可工作。首先，當(dāng)您提出問(wèn)題或提供主題時(shí)，它會(huì)形成您的查詢(xún)。然后，它搜索龐大的信息數(shù)據(jù)庫(kù)以查找相關(guān)文檔或文章。一旦它有了這些信息，它就會(huì)選擇最重要的部分，并制定一個(gè)對(duì)你有意義的回應(yīng)。

問(wèn)題3. RAG有哪些應(yīng)用？

答：RAG 有許多實(shí)際用途。它可以使搜索引擎更智能，幫助虛擬助手提供更好的答案，通過(guò)回答學(xué)生的問(wèn)題來(lái)協(xié)助教育，幫助作家產(chǎn)生內(nèi)容創(chuàng)意，甚至幫助研究人員找到最新的研究。

問(wèn)題4. 每個(gè)人都可以使用RAG嗎？

答：RAG 是一種可用于各種應(yīng)用的技術(shù)，但并不是每個(gè)人都可以直接使用它。它的可用性取決于它在特定工具或服務(wù)中的實(shí)現(xiàn)方式。

問(wèn)題5. RAG 的未來(lái)是什么？

答：RAG 的未來(lái)看起來(lái)很有希望。它有望使訪問(wèn)信息更容易，并改善與人工智能系統(tǒng)的交互。這項(xiàng)技術(shù)有可能給各個(gè)行業(yè)帶來(lái)重大變化。

問(wèn)題6. RAG 可以用于內(nèi)容創(chuàng)作嗎？

答：當(dāng)然可以！RAG 可以成為作家和研究人員的有用工具。它可以提供想法并協(xié)助研究主題，使內(nèi)容創(chuàng)建過(guò)程更加高效。

原文地址：https://www.analyticsvidhya.com/blog/2023/09/unveiling-retrieval-augmented-generation-rag-where-ai-meets-human-knowledge/

非常感謝大家的閱讀，小Mo在這里祝你在末來(lái)的 Python 學(xué)習(xí)職業(yè)生涯中一切順利！

后續(xù)小Mo會(huì)不定期更新書(shū)籍、視頻等學(xué)習(xí)資源，以上這些書(shū)籍資料也可通過(guò)關(guān)注微信公眾號(hào)免費(fèi)獲取哦！

歡迎關(guān)注我們的微信公眾號(hào)：MomodelAl

同時(shí)，歡迎使用「Mo AI編程」微信小程序

以及登錄官網(wǎng)，了解更多信息：Mo 人工智能教育實(shí)訓(xùn)平臺(tái)

Mo，發(fā)現(xiàn)意外，創(chuàng)造可能

注：部分資源來(lái)源于互聯(lián)網(wǎng)，若有侵權(quán)，請(qǐng)直接聯(lián)系作者刪除。