參考資料地址1：https://pan.baidu.com/s/13aC6bs2H7mNKCBDCjtGV6A 提取碼: hqq8

參考資料地址2：https://share.weiyun.com/jBv4dMhn 密碼：ja53dq

當(dāng)今社會是科技的社會，是算力快速發(fā)展的時代。隨著數(shù)據(jù)中心、東數(shù)西算、高性能計算、數(shù)據(jù)分析、數(shù)據(jù)挖掘的快速發(fā)展，大模型得到了快速地發(fā)展。大模型是“大算力+強(qiáng)算法”相結(jié)合的產(chǎn)物，是人工智能的發(fā)展趨勢和未來。

目前，大規(guī)模的生態(tài)已初具規(guī)模。其可以實(shí)現(xiàn)從“手工作坊”到“工廠模式”的 AI 轉(zhuǎn)型。大模型通常在大規(guī)模無標(biāo)記數(shù)據(jù)上進(jìn)行訓(xùn)練，以學(xué)習(xí)某種特征和規(guī)則。

基于大模型開發(fā)應(yīng)用時，可以對大模型進(jìn)行微調(diào)，或者不進(jìn)行微調(diào)，就可以完成多個應(yīng)用場景的任務(wù)；更重要的是，大模型具有自監(jiān)督學(xué)習(xí)能力，不需要或很少需要人工標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，降低訓(xùn)練成本，從而可以加快 AI 產(chǎn)業(yè)化進(jìn)程，降低 AI 應(yīng)用門檻。

NLP大模型是被認(rèn)為最接近人類中文理解能力的AI大模型，而CV大模型首次兼顧了圖像判別與生成能力。

未來的方向

1. 進(jìn)一步擴(kuò)大模型規(guī)模，改善模型架構(gòu)和訓(xùn)練

改善模型的架構(gòu)或者訓(xùn)練過程可能會帶來具有涌現(xiàn)能力的高質(zhì)量模型，并減少計算量。

一種方向是使用稀疏混合專家架構(gòu)，其在保持恒定輸入成本時具有更好的計算效率，使用更加局部的學(xué)習(xí)策略，而不是在神經(jīng)網(wǎng)絡(luò)的所有權(quán)重上進(jìn)行反向傳播，以及使用外部存儲來增強(qiáng)模型。

2. 擴(kuò)大數(shù)據(jù)規(guī)模

在一個足夠大的數(shù)據(jù)集上訓(xùn)練足夠長的時間被證明是語言模型獲得語法、語義和其他世界知識的關(guān)鍵。近期，Hoffmann et al.認(rèn)為先前的工作低估了訓(xùn)練一個最優(yōu)模型的訓(xùn)練數(shù)據(jù)量，低估了訓(xùn)練數(shù)據(jù)的重要性。收集模型可以在其上訓(xùn)練更長時間的大量數(shù)據(jù)，允許在一個固定模型尺寸的約束下有更大范圍的涌現(xiàn)能力。

3. 更好的prompt

雖然few-shot prompting簡單有效，對prompting通用性的改善將進(jìn)一步擴(kuò)展語言模型的能力。