起猛了，家人們，一覺醒來Llama 2 就出來了，而且還開源可商用。

當我還在蒙頭大睡的時候，世界另一邊的大佬們悄悄發(fā)布了他們的新產(chǎn)品，一夜之間格局巨變啊！

Llama想必大家都不陌生啦， Llama可以說在目前的AI社區(qū)里面是一人之下，萬人之上。但由于開源協(xié)議的問題，第一代產(chǎn)品是無法商用的了。

就在7月14日，智譜AI&清華KEG開發(fā)的ChatGLM2-6B 發(fā)出公告宣布其大模型開源可商用。

僅一周不到的時間，Meta 也陸續(xù)宣布了大家期待已久的免費可商用的 Llama 2。

真是在開源社區(qū)引領了一波浪潮啊。

相對于自詡為Open AI 的某公司，誰才是Open 的AI，這里就不好評價了。

Meta這次推出的 Llama 2 模型系列包含 70 億、130 億和 700 億三種參數(shù)變體。另外還訓練了一個340億參數(shù)的變體，只是在報告中提到，但尚未發(fā)布。

目前，已經(jīng)可以通過官方網(wǎng)站https://ai.meta.com/resources/models-and-libraries/llama-downloads/去申請開源模型的使用。

根具官方網(wǎng)站的介紹，Llama 2 預訓練模型采用 2 萬億的 token 上訓練，精調(diào) Chat 模型使用 100 萬人類標記數(shù)據(jù)上訓練。相比之下呢，Llama 2比Llama 1 多了 40%的訓練數(shù)據(jù)，上下文長度也是翻倍，而且采用了分組查詢注意力機制。

在官網(wǎng)公布的測評統(tǒng)計數(shù)據(jù)中顯示，Llama 2 在包括推理、編碼、精通性和知識測試等許多外部基準測試中都優(yōu)于其他開源語言模型。

此外，Llama-2-chat使用來自人類反饋的強化學習來確保安全和有用性，Llama 2 是使用公開可用的在線數(shù)據(jù)進行預訓練的。然后通過使用監(jiān)督微調(diào)來創(chuàng)建Llama-2-chat的初始版本。接下來，使用來自人類反饋的強化學習（RLHF）迭代優(yōu)化Llama-2-chat，其中包括拒絕抽樣和近端策略優(yōu)化（PPO）

Meta 還宣布，將與微軟 Azure 進行合作，向其全球開發(fā)者提供基于Llama 2模型的云服務，Azure 客戶可以在 Azure 平臺上更輕松、更安全地微調(diào)和部署 7B、13B 和 70B 參數(shù)的 Llama 2 模型，此外通過優(yōu)化可以在 Windows 本地運行。同時 Meta 還將聯(lián)手高通，讓Llama 2能夠在高通芯片上運行。

開源大模型不斷推出，從Chat-GPT爆火之后，各大科技公司也逐漸展露拳腳，不斷的技術(shù)升級降低使用成本和門檻，照這個速度發(fā)展下去，想象一下距離人手一個大模型的時代還需要多久呢？

好了，今天的內(nèi)容就到這里了，關注我，學習AI快人一步。記得三連哦！

論文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

項目地址：https://github.com/facebookresearch/llama