在LLM的細(xì)分領(lǐng)域中，編程能力模型主要關(guān)注在使用自然語(yǔ)言處理技術(shù)來(lái)解決編程任務(wù)和問(wèn)題。這些模型旨在理解和生成與編程相關(guān)的文本，例如代碼片段、文檔、注釋和問(wèn)題。

CoderLLM競(jìng)爭(zhēng)激烈，且優(yōu)秀的模型層出不窮，各有特色。今天為您詳細(xì)介紹幾個(gè)編程能力模型：StarCoder、StarCoder+、CodeT5、LTM、DIDACT、WizardCoder、FalCoder-7B、MPT30B。

1．StarCoder

? 源自GPT2模型的AI編程神器，通過(guò)訓(xùn)練各種GitHub代碼集。

? 具有15B的參數(shù) + 8K的上下文能力。

? 在80多種編程語(yǔ)言中磨煉，StarCoder擁有強(qiáng)大的代碼補(bǔ)全和錯(cuò)誤修復(fù)能力。在HumanEval評(píng)估中，竟可達(dá)到40%的pass@1得分，將成為你的編碼好助手！

2．StarCoder+

? StarCoder+，在StarCoder的基礎(chǔ)上，通過(guò)在Falcon模型的英文網(wǎng)絡(luò)數(shù)據(jù)集上進(jìn)行訓(xùn)練，并進(jìn)行指令調(diào)優(yōu)，變身為強(qiáng)大的英文語(yǔ)言模型。

? 站在30B以下模型的領(lǐng)導(dǎo)者榜首，HumanEval的得分更是達(dá)到了驚人的45.1 MMLU，超過(guò)所有的LLaMa模型和PaLM-540B。

3．CodeT5+

? 擅長(zhǎng)代碼理解和生成，且在HumanEval上取得了創(chuàng)新的代碼生成性能，超越了原有模型。

? 這個(gè)模型是一個(gè)靈活的編碼解碼結(jié)構(gòu)，通過(guò)混合各種預(yù)訓(xùn)練任務(wù)，可以靈活地在不同模式（如，僅編碼，僅解碼，和編碼解碼）中操作，適應(yīng)各種代碼理解和生成任務(wù)。

4．LTM

? LTM，一款具有長(zhǎng)期記憶網(wǎng)絡(luò)（Long-term Memory Network）技術(shù)的LLM，可以支持最大500萬(wàn)Tokens，讓你的代碼庫(kù)得以完整呈現(xiàn)，如同編寫(xiě)長(zhǎng)篇小說(shuō)一般輕松自如。

? 此模型能夠支持巨大的上下文窗口，以至于可以完全覆蓋大部分代碼庫(kù)。

5．DIDACT

? 由Google研發(fā)，是第一個(gè)被訓(xùn)練用來(lái)模擬真實(shí)軟件開(kāi)發(fā)者編寫(xiě)代碼、修復(fù)構(gòu)建、并進(jìn)行代碼審查的LLM。能夠逐步構(gòu)建軟件基于開(kāi)發(fā)者的工作歷史。

? 可以幫助開(kāi)發(fā)者修復(fù)構(gòu)建錯(cuò)誤，預(yù)測(cè)代碼審查意見(jiàn)，甚至像GitHub Copilot一樣，根據(jù)你的開(kāi)發(fā)歷史來(lái)完成代碼補(bǔ)全。

6．WizardCoder

? WizardCoder，這是一款全新的開(kāi)源代碼LLM。通過(guò)應(yīng)用Evol-Instruct方法（類(lèi)似orca），它在復(fù)雜的指令微調(diào)中展現(xiàn)出強(qiáng)大的力量，得分甚至超越了所有的開(kāi)源Code LLM，及Claude、Bard等閉源LLM，達(dá)到了驚人的57.3的HumanEval pass@1得分！

7．FalCoder-7B

? FalCoder-7B，源于Falcon模型，經(jīng)過(guò)CodeAlpaca20k數(shù)據(jù)集的細(xì)微調(diào)整，，專(zhuān)為代碼指令補(bǔ)全而生。因?yàn)镕alcon的質(zhì)量不錯(cuò)，且可商用，基于這個(gè)的coder model可以供參考。

8．MPT30B

? 開(kāi)源商用且比Falcon 40B更好的模型。

? 擁有30B參數(shù)、1T token和8k上下文窗口的模型，MPT30B優(yōu)雅地在編程能力和商業(yè)可用性之間取得了平衡，其在HumanEval評(píng)估中的表現(xiàn)優(yōu)于GPT-3，而模型大小僅為GPT-3的17%，訓(xùn)練計(jì)算量?jī)H為GPT-3的60%。

? MPT30B擁有一些獨(dú)特的特性，例如能夠通過(guò)ALiBi擴(kuò)展上下文長(zhǎng)度，通過(guò)FlashAttention進(jìn)行高效推理和訓(xùn)練，還可以方便地部署在單個(gè)GPU上。

這些模型的出現(xiàn)為提高開(kāi)發(fā)效率、改善代碼質(zhì)量、降低學(xué)習(xí)門(mén)檻和支持編程教育提供了新的可能性。

通過(guò)智能的代碼自動(dòng)補(bǔ)全、代碼糾錯(cuò)、代碼推理和代碼搜索等功能，編程能力模型可以成為開(kāi)發(fā)人員的強(qiáng)大助手，提供準(zhǔn)確、實(shí)時(shí)的代碼支持和解決方案。此外，這些模型還有助于促進(jìn)編程社區(qū)的合作和知識(shí)共享，為開(kāi)發(fā)者提供更廣泛的資源和交流機(jī)會(huì)。

附CanAiCode榜單

1．Python

2．JavaScript