AI 使用大型語言模型（LLM）來理解和生成自然語言。LLM 可以從大量文本中學(xué)習(xí)并創(chuàng)建有關(guān)各種主題的文本，并可以完成比如編寫代碼、生成歌詞、總結(jié)文章等任務(wù)。但有些 LLM 相關(guān)課程成本高昂且封閉，而現(xiàn)有的開放課程數(shù)量十分有限。這就是 Meta 推出新的開源 LLM Llama 2 的原因。
?

Meta Llama 2 旨在與 OpenAI 的 ChatGPT 和 Google Bard 等其他著名語言模型對標(biāo)，但又具有獨(dú)特優(yōu)勢。在本文中，我們將聊聊 Llama 2 是什么、它的優(yōu)勢是什么、是如何開發(fā)的、以及如何開始上手使用。
?

什么是大型語言模型（LLM）？

大型語言模型（LLM）是一種人工神經(jīng)網(wǎng)絡(luò)，可以從大量文本數(shù)據(jù)中學(xué)習(xí)并生成各種主題的自然語言文本。LLM 接受的語料庫包含來自不同來源的數(shù)十億或數(shù)萬億單詞，例如書籍、網(wǎng)站、社交媒體帖子、新聞文章等。LLM 可以執(zhí)行各種自然語言處理（NLP）任務(wù)，例如文本分類、情感分析、問答、機(jī)器翻譯、文本摘要、文本生成等。流行的 LLM 的一些例子包括 OpenAI 的 ChatGPT、Google 的 Bard、微軟的 Turing-NLG、IBM 的 Project CodeNet 等。
?

LLM 基于一種稱為自我關(guān)注的技術(shù)，該技術(shù)使他們能夠捕獲文本中的遠(yuǎn)程依賴性和上下文信息。自注意力是使用名為 Transformer 的模塊實(shí)現(xiàn)的，該模塊由多層編碼器-解碼器對組成。每一層都對輸入文本應(yīng)用自注意力，并生成更精致和相關(guān)的輸出文本。
?

LLM 的規(guī)模是通過其參數(shù)的數(shù)量來衡量的。參數(shù)是確定神經(jīng)網(wǎng)絡(luò)如何處理輸入并產(chǎn)生輸出的數(shù)值，LLM 的參數(shù)越多，它就越復(fù)雜和強(qiáng)大。而更多的參數(shù)也意味著更多的計(jì)算資源和能耗。
?

如何開始使用 Llama 2？

如果您有興趣將 Llama 2 用于您自己的項(xiàng)目或?qū)嶒?yàn)，可以從 Meta 網(wǎng)站[1] 下載模型，您需要填寫下載表格并同意 Meta 的隱私政策。您還需要在計(jì)算機(jī)或設(shè)備上安裝 PyTorch。
?

?

閱讀技術(shù)概述和研究論文。這些文檔將為您提供有關(guān) Llama 的架構(gòu)、訓(xùn)練、性能和評估的更多信息。您還將了解 LLM 的挑戰(zhàn)和局限性以及如何解決這些挑戰(zhàn)和局限性。
?

遵循官方使用指南并加入開放創(chuàng)新社區(qū)。這些資源將幫助您以安全、合規(guī)、合法地方式使用 Llama 2，并將您和與您有共同興趣和目標(biāo)的其他用戶和開發(fā)人員聯(lián)系起來。
?

Llama 2 的優(yōu)勢

Llama 2 是 Meta 的下一代開源大語言模型。它是一系列經(jīng)過預(yù)訓(xùn)練和微調(diào)的模型，參數(shù)范圍從 70 億到 700 億個(gè)。Meta Llama 2 具有兩大優(yōu)勢，使其從其他開源 LLM 中脫穎而出。
?

Llama 2 可免費(fèi)用于研究和商業(yè)用途

Llama 2 的主要優(yōu)點(diǎn)之一是它可以免費(fèi)用于研究和商業(yè)用途。與其前身 Llama 擁有非商業(yè)許可證并被泄露到 torrent 網(wǎng)站不同，Meta Llama 2 擁有商業(yè)許可證，允許任何人將其集成到他們的產(chǎn)品和服務(wù)中。這也表示 Llama 2 可用于多種用途，例如構(gòu)建聊天機(jī)器人、生成內(nèi)容、創(chuàng)建語音助手等。Meta Llama 2 還可以針對特定領(lǐng)域和任務(wù)進(jìn)行定制和微調(diào)，例如醫(yī)療保健、教育、金融等。
?

當(dāng)然 Meta Llama 2 的使用也存在一些限制。例如，每月活躍用戶超過 7 億的潛在被許可人必須向 Meta 請求特別許可才能使用它。此外，Meta Llama 2 用戶必須遵循 Meta 的負(fù)責(zé)任的使用指南并尊重他人的隱私和權(quán)利。
?

Llama 2 擁有一系列不同的模型

Llama 2 的另一個(gè)優(yōu)勢是它提供了一系列具有不同大小和功能的模型。根據(jù)用戶的需求和資源，他們可以選擇以下型號：
?

?

• Llama-7B：最小的模型，擁有 70 億個(gè)參數(shù)。適用于資源匱乏的設(shè)備和應(yīng)用程序。

• Llama-14B：具有 140 億個(gè)參數(shù)的中型模型。適用于通用應(yīng)用程序和任務(wù)。

• Llama-28B：具有 280 億個(gè)參數(shù)的大型模型。適用于高性能應(yīng)用和任務(wù)。

• Llama-56B：一個(gè)非常大的模型，擁有 560 億個(gè)參數(shù)。適用于需要更多復(fù)雜性和多樣性的高級應(yīng)用程序和任務(wù)。

• Llama-70B：最大的模型，擁有 700 億個(gè)參數(shù)。適用于需要最高質(zhì)量和性能的最先進(jìn)的應(yīng)用和任務(wù)。
  ?

所有這些模型都基于 2 萬億個(gè) token 的在線數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，并且具有 4,096 個(gè) token 的上下文窗口。此外，Meta 還提供了一個(gè)名為 Llama-2-chat 的微調(diào)模型，該模型針對會(huì)話應(yīng)用程序進(jìn)行優(yōu)化。Llama-2-chat 經(jīng)過超過 100 萬條人工注釋的訓(xùn)練，可以生成流暢且相對準(zhǔn)確的響應(yīng)。
?

Llama 2 是如何開發(fā)的？

Llama 2 由 Meta（前為Facebook）的研究部門 Meta AI 開發(fā)。Meta AI 致力于通過開放創(chuàng)新和協(xié)作推進(jìn)人工智能領(lǐng)域的發(fā)展。Meta AI 擁有世界一流的研究人員和工程師團(tuán)隊(duì)，他們致力于人工智能的各個(gè)方面，如計(jì)算機(jī)視覺、自然語言處理、語音識(shí)別等。
?

Llama 2 建立在 Meta 之前的開源大型語言模型 Llama 之上，Llama 于今年 2 月發(fā)布。Llama 使用 Meta 的 PyTorch 框架在公開可用的在線數(shù)據(jù)源上進(jìn)行了預(yù)訓(xùn)練。然而，Llama 擁有非商業(yè)許可證，僅適用于具有一定資格的學(xué)者。很快 Llama 就被泄露到網(wǎng)上并在人工智能社區(qū)廣泛傳播。許多愛好者和開發(fā)人員使用 Llama 為各種目的創(chuàng)建自己的微調(diào)模型，例如用于聊天機(jī)器人的 Alpaca、用于代碼生成的 Camel、用于文本摘要的 Vicuna 等。
?

因此 Meta 決定采用這種開放式創(chuàng)新方法，并發(fā)布了帶有商業(yè)許可證的 Llama 2，允許任何人將其用于研究和商業(yè)目的。Llama 2 使用 2 萬億個(gè)token在線數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，是 Llama 的兩倍。Meta Llama 2 還具有更豐富的上下文窗口，包含 4,096 個(gè)標(biāo)記，是 Llama 上下文窗口大小的兩倍。
?

Meta Llama 2 對超過 100 萬條人工注釋進(jìn)行了微調(diào)，這些注釋是從各種來源收集的，例如公開可用的指令數(shù)據(jù)集和 Meta 自己的眾包平臺(tái)。經(jīng)過微調(diào)的模型 Llama-2-chat 針對對話應(yīng)用程序進(jìn)行了優(yōu)化，可以生成流暢且更為準(zhǔn)確的響應(yīng)。
?

關(guān)于 Llama 2 的高頻問題

Q：Llama 和 Llama 2 有什么區(qū)別？

A：Llama 是 Meta 開源大語言模型的第一個(gè)版本，于今年2月發(fā)布。Llama 使用 1 萬億個(gè) token 的在線數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，并且有一個(gè)包含 2,048 個(gè) token 的上下文窗口。Meta Llama 2 是 Meta 的下一代開源大語言模型，于今年 7 月發(fā)布。Meta Llama 2 使用 2 萬億個(gè) token 在線數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，上下文窗口包含 4,096 個(gè) token。
?

Q：如何針對我自己的領(lǐng)域或任務(wù)微調(diào) Llama 2？

A：您可以使用 Meta 的 PyTorch 框架并遵循技術(shù)概述中的說明，針對您自己的領(lǐng)域或任務(wù)微調(diào) Meta Llama 2。您將需要擁有與您的領(lǐng)域或任務(wù)相關(guān)的自己的文本數(shù)據(jù)集。
?

Q：Llama 2 面臨哪些挑戰(zhàn)和局限性？

A：Meta Llama 2 這樣的 LLM 依舊面臨一些挑戰(zhàn)和限制。它們包括數(shù)據(jù)質(zhì)量和偏見、計(jì)算成本和環(huán)境影響以及道德和社會(huì)影響。這些可能會(huì)影響LLM生成的文本及其在社會(huì)中使用的方式。
?

Q：如何以合法、合規(guī)的方式使用 Llama 2？

A：要以合法并合規(guī)的方式使用 Meta Llama 2（Meta 的開源大語言模型），您應(yīng)該遵循 Meta 的官方使用指南。它提供了在您的產(chǎn)品中使用 LLM 的一些原則和最佳實(shí)踐。其中包括尊重人的尊嚴(yán)和權(quán)利、透明和負(fù)責(zé)以及促進(jìn)多樣性和包容性。
?

結(jié) 論

Llama 2 是 Meta 的下一代開源大語言模型。它是一系列經(jīng)過預(yù)訓(xùn)練和微調(diào)的模型，參數(shù)范圍從 70 億到 700 億個(gè)。Meta Llama 2 可免費(fèi)用于研究和商業(yè)用途，擁有一系列不同大小和功能的模型，并且在許多基準(zhǔn)測試中優(yōu)于其他開源 LLM。
?

Meta Llama 2 是一款功能強(qiáng)大且多功能的工具，可以幫助您創(chuàng)建令人驚嘆的自然語言應(yīng)用程序和體驗(yàn)。無論您是想構(gòu)建聊天機(jī)器人、生成內(nèi)容、創(chuàng)建語音助手還是其他任何東西，Llama 2 都可以幫助實(shí)現(xiàn)。感興趣的伙伴不妨上手試試。
?

參考鏈接：
原文：https://www.cloudbooklet.com/meta-llama-2-open-source-llm/
[1].?https://ai.meta.com/resources/models-and-libraries/llama-downloads/